E3VS-Bench: 3D スプラットリングシーンにおける視座依存型アクティブな知覚のためのベンチマーク

arXiv:2604.17969v2 発表タイプ：差し替え 要旨：3D エンバイロンメントにおけるビジュアルサーチでは、エンボディメントエージェントが周囲を探索し、タスクに関連する証拠を取得する必要があります。しかし、既存のビジュアルサーチおよびエンボディメント AI ベンチマーク（EQA 等）は、通常、静的な観察または制限された第一人称視点運動に依存しており、現実の 3D エンバイロンメントにおける制限のない 5-DoF（自由度）視点制御下で生じる微細な視座依存現象を明示的に評価していません。具体的には、垂直な視点移動による見え方の変化、容器内部の内容の発見、あるいは特定の角度からしか観察できない物体属性の排除という現象です。この限界に対処するため、我々は、エージェントが 5-DoF で視点制御を行って回答に必要な視座依存証拠を収集するエンボディメント 3D ビジュアルサーチのためのベンチマークである {E3VS-Bench} を導入しました。E3VS-Bench は、3D Gaussian Splatting を使用して再構築された 99 つの高品質 3D シーンと、2,014 つの質問駆動のエピソードから構成されます。3D Gaussian Splatting は、メッシュベースのシミュレータで通常劣化する微細なビジュアルディテール（例えば、小型のテキストや微妙な属性）を保持する写実的な自由視点レンダリングを可能にし、単一の視点から回答できない質問の構築を、5-DoF をまたぐアクティブな点検を必要とするものまで許容します。我々は、複数の最優級の VLM（Vision-Language Models）の性能を評価し、人間との比較を行いました。強力な 2D 推論能力にもかかわらず、すべてのモデルは人間と決定的なギャップを示し、特にフル 5-DoF 視点変化の下におけるアクティブな知覚と一貫した視点計画の限界を浮き彫りにしました。

arXiv:2604.17969v2 Announce Type: replace Abstract: Visual search in 3D environments requires embodied agents to actively explore their surroundings and acquire task-relevant evidence. However, existing visual search and embodied AI benchmarks, including EQA, typically rely on static observations or constrained egocentric motion, and thus do not explicitly evaluate fine-grained viewpoint-dependent phenomena that arise under unrestricted 5-DoF viewpoint control in real-world 3D environments, such as visibility changes caused by vertical viewpoint shifts, revealing contents inside containers, and disambiguating object attributes that are only observable from specific angles. To address this limitation, we introduce {E3VS-Bench}, a benchmark for embodied 3D visual search where agents must control their viewpoints in 5-DoF to gather viewpoint-dependent evidence for question answering. E3VS-Bench consists of 99 high-fidelity 3D scenes reconstructed using 3D Gaussian Splatting and 2,014 question-driven episodes. 3D Gaussian Splatting enables photorealistic free-viewpoint rendering that preserves fine-grained visual details (e.g., small text and subtle attributes) often degraded in mesh-based simulators, thereby allowing the construction of questions that cannot be answered from a single view and instead require active inspection across viewpoints in 5-DoF. We evaluate multiple state-of-the-art VLMs and compare their performance with humans. Despite strong 2D reasoning ability, all models exhibit a substantial gap from humans, highlighting limitations in active perception and coherent viewpoint planning specifically under full 5-DoF viewpoint changes.