Vid-LLM: 再構築・推論のシナジーを備えたコンパクトなビデオベースの 3 次元マルチモーダル LLM

arXiv:2509.24385v3 Announce Type: replace 要約: マルチモーダル大規模言語モデル（MLLM）の最近の進展により、2 次元分野におけるビジョン・ランゲージ（VL）推論が大幅に向上しました。しかし、これらの機能を 3 次元シーン理解へと拡張するには依然として大きな課題が残っています。既存の 3 次元マルチモーダル大規模言語モデル（3D-MLLM）は多くの場合、3 次元データ入力に依存しており、これがスケール性や汎用性を制限しています。この限界を克服するために、私たちが提唱する Vid-LLM は、外部の 3 次元データを必要とせずにビデオ入力を直接処理するビデオベースの 3D-MLLMであり、実世界への展開を可能にしています。私たちの手法では、幾何学的先験を直接使用してシーンの感知性能を向上させています。MLLM への幾何学的情報の統合をコンパクトに行うために、3 次元幾何学的先験をビジョン・ランゲージ表現と整合させる「クロス・タスクアダプター（CTA）」モジュールを設計しました。幾何学的整合性と完全性を保証するために、再構築出力から実スケールの幾何学を回復する「メトリック深度モデル」を導入しました。最後に、モデルは 2 ステージの_distillation 最適化戦略_で微調整され、高速収束と安定したトレーニングを実現しました。多様なベンチマークにおける広範な実験は、私の手法が 3 次元クエクション・アンサリング、3 次元デンス・キャプションニング、および 3 次元ビジュアル・グラウンディングタスクにおいて高い有効性を示し、卓越したマルチタスク機能を実証しました。

arXiv:2509.24385v3 Announce Type: replace Abstract: Recent developments in Multimodal Large Language Models (MLLMs) have significantly improved Vision-Language (VL) reasoning in 2D domains. However, extending these capabilities to 3D scene understanding remains a major challenge. Existing 3D Multimodal Large Language Models (3D-MLLMs) often depend on 3D data inputs, which limits scalability and generalization. To address this limitation, we propose Vid-LLM, a video-based 3D-MLLM that directly processes video inputs without requiring external 3D data, making it practical for real-world deployment. In our method, the geometric prior are directly used to improve the performance of the sceen perception. To integrate the geometric cues into the MLLM compactly, we design a Cross-Task Adapter (CTA) module to align the 3D geometric priors with the vision-language representations. To ensure geometric consistency and integrity, we introduce a Metric Depth Model that recovers real-scale geometry from the reconstruction outputs. Finally, the model is fine-tuned with a two-stage distillation optimization strategy, realizing fast convergence and stabilizes training. Extensive experiments across diverse benchmarks verified the effectiveness of our method on 3D Question Answering, 3D Dense Captioning and 3D Visual Grounding tasks, demonstrating the superior multi-task capabilities.