ShapBPT：データ認識型 Binary Partition Tree を用いた画像特徴帰属

arXiv:2602.07047v1 公開種別: new 概要: ピクセルレベルの特徴帰属は、Computer Vision 向けの eXplainable AI (XCV) における重要な手段であり、画像特徴がモデルの予測にどのように影響するかについて視覚的な洞察を与える。階層的 Shapley 値のための Owen formula は、機械学習 (ML) モデルやそれらの学習表現を解釈するために広く使われてきた。しかし、既存の階層的 Shapley アプローチは画像データのマルチスケール構造を活用しておらず、その結果収束が遅く、実際の形態学的特徴との整合性が弱い。さらに、従来の Shapley 手法は Computer Vision タスクに対してデータ認識型の階層構造を活用しておらず、構造化された視覚データのモデル解釈性にギャップが残されている。 これに対処するため、本稿では階層的 Shapley 式に基づく新たなデータ認識型 XCV 手法 ShapBPT を導入する。ShapBPT は、画像向けに設計されたマルチスケールの階層構造である Binary Partition Tree (BPT) に Shapley 係数を割り当てる。データ認識型のこの階層分割を用いることで、ShapBPT は特徴帰属が画像の内在的な形態と整合することを保証し、関連領域を効果的に優先しつつ計算負荷を軽減する。この進展により、階層的 Shapley 手法と画像データが結びつき、視覚的解釈可能性に対してより効率的で意味的に有意義なアプローチが提供される。 実験結果は ShapBPT の有効性を裏付けており、既存の XCV 手法と比較して画像構造との整合性の向上と効率性の改善を示している。さらに、20名の被験者を対象としたユーザー研究により、ShapBPT による説明が人間により好まれることが確認された。

arXiv:2602.07047v1 Announce Type: new Abstract: Pixel-level feature attributions are an important tool in eXplainable AI for Computer Vision (XCV), providing visual insights into how image features influence model predictions. The Owen formula for hierarchical Shapley values has been widely used to interpret machine learning (ML) models and their learned representations. However, existing hierarchical Shapley approaches do not exploit the multiscale structure of image data, leading to slow convergence and weak alignment with the actual morphological features. Moreover, no prior Shapley method has leveraged data-aware hierarchies for Computer Vision tasks, leaving a gap in model interpretability of structured visual data. To address this, this paper introduces ShapBPT, a novel data-aware XCV method based on the hierarchical Shapley formula. ShapBPT assigns Shapley coefficients to a multiscale hierarchical structure tailored for images, the Binary Partition Tree (BPT). By using this data-aware hierarchical partitioning, ShapBPT ensures that feature attributions align with intrinsic image morphology, effectively prioritizing relevant regions while reducing computational overhead. This advancement connects hierarchical Shapley methods with image data, providing a more efficient and semantically meaningful approach to visual interpretability. Experimental results confirm ShapBPT's effectiveness, demonstrating superior alignment with image structures and improved efficiency over existing XCV methods, and a 20-subject user study confirming that ShapBPT explanations are preferred by humans.