データ対応型かつスケーラブルな決定木アンサンブルの感受性解析

arXiv:2602.07453v1 Announce Type: new 要旨：決定木アンサンブルは批判的な分野で広く利用されており、信頼性を得るためには頑健性と感受性解析が不可欠です。本研究では、アンサンブルが特定の特徴集合（例えば、保護対象アトリビュートなど、モデルの予測を変化させる可能性のある操作可能な特徴）に対して感受性を示すかという「特徴の感受性」の問題について調査します。既存のアプローチは、しばしば訓練分布から遠く離れた感受性例を導き出す傾向があり、これが解釈性や実用的価値を制限します。我々は、敏感な例がデータセットに近く保持されるように制約する、データ対応型感受性フレームワークを提案します。これにより、現実的で解釈可能なモデルの弱さを示す証拠が生成されます。そのために、混合整数線形計画（MILP）と理論に関する可满足性（SMT）エネコードの組み合わせを利用した新しいデータ対応型検索手法を開発しました。我々の貢献は四つにわたります。第一に、感受性検証の NP-完全性結果を強化し、深さが 1 の木でも成り立つことを示しました。第二に、単独アンサンブルだけでなく初めてマルチクラス木アンサンブルも扱えるように、感受性検証の速度を大幅に向上させる MILP 最適化手法を開発しました。第三に、訓練分布に近い現実的な例を生成するデータ対応型フレームワークを導入しました。第四に、大規模木アンサンブルを対象とした大規模な実験評価を実施し、深さが 8 で最大 800 本の木を含むアンサンブルのスケーラビリティを実証し、最新技術に対して大幅な向上を実現しました。このフレームワークは、高リスク応用における木ベースのモデルの信頼性と公平性を解析するための実践的な基盤を提供します。

arXiv:2602.07453v1 Announce Type: new Abstract: Decision tree ensembles are widely used in critical domains, making robustness and sensitivity analysis essential to their trustworthiness. We study the feature sensitivity problem, which asks whether an ensemble is sensitive to a specified subset of features -- such as protected attributes -- whose manipulation can alter model predictions. Existing approaches often yield examples of sensitivity that lie far from the training distribution, limiting their interpretability and practical value. We propose a data-aware sensitivity framework that constrains the sensitive examples to remain close to the dataset, thereby producing realistic and interpretable evidence of model weaknesses. To this end, we develop novel techniques for data-aware search using a combination of mixed-integer linear programming (MILP) and satisfiability modulo theories (SMT) encodings. Our contributions are fourfold. First, we strengthen the NP-hardness result for sensitivity verification, showing it holds even for trees of depth 1. Second, we develop MILP-optimizations that significantly speed up sensitivity verification for single ensembles and for the first time can also handle multiclass tree ensembles. Third, we introduce a data-aware framework generating realistic examples close to the training distribution. Finally, we conduct an extensive experimental evaluation on large tree ensembles, demonstrating scalability to ensembles with up to 800 trees of depth 8, achieving substantial improvements over the state of the art. This framework provides a practical foundation for analyzing the reliability and fairness of tree-based models in high-stakes applications.