SPD-Faith ベンチ: 多画像大規模言語モデルの Chain-of-Thought における忠実性の診断と向上

arXiv:2602.07833v1 Announce Type: new 要旨: Chain-of-Thought（思考の連鎖）推論は、多画像大規模言語モデル（MLLMs）の解釈性を向上させるために広く利用されており、しかし生成された推論経路の忠実性はまだ不明確である。以前の研究は主に知覚的なホラーレーションに焦点を当てており、推論レベルの忠実性の不足は十分に探索されていない。言語的事前知識から忠実性を隔離するため、我々は詳細な画像差分推論に基づき、明示的な視覚比較を強制する診断ベンチマーク「SPD-Faith Bench」を導入した。最先進の MLLM における評価は、二つの系統的な失敗モード、すなわち「視覚的な盲目」と「知覚と推論の分離」を明らかにした。我々はこれらの失敗を、残存ストリームにおける視覚的注意の減衰と表現のシフトに起因すると追及した。この分析に基づき、我々は視覚的路由を改善し、推論を知覚に一致させるために、訓練不要の視覚証拠校准フレームワーク「SAGE」を提案した。我々の結果は、応答の正しさを超えて忠実性を明示的に評価することの重要性を強調する。ベンチマークおよびコードは https://github.com/Johanson-colab/SPD-Faith-Bench に利用可能です。

arXiv:2602.07833v1 Announce Type: new Abstract: Chain-of-Thought reasoning is widely used to improve the interpretability of multimodal large language models (MLLMs), yet the faithfulness of the generated reasoning traces remains unclear. Prior work has mainly focused on perceptual hallucinations, leaving reasoning level unfaithfulness underexplored. To isolate faithfulness from linguistic priors, we introduce SPD-Faith Bench, a diagnostic benchmark based on fine-grained image difference reasoning that enforces explicit visual comparison. Evaluations on state-of-the-art MLLMs reveal two systematic failure modes, perceptual blindness and perception-reasoning dissociation. We trace these failures to decaying visual attention and representation shifts in the residual stream. Guided by this analysis, we propose SAGE, a train-free visual evidence-calibrated framework that improves visual routing and aligns reasoning with perception. Our results highlight the importance of explicitly evaluating faithfulness beyond response correctness. Our benchmark and codes are available at https://github.com/Johanson-colab/SPD-Faith-Bench.