SENSE：ステレオ OpEN Vocabulary SEManantic Segmentation

arXiv:2604.15946v1 発表タイプ：new 要約：オープンバリュー Semantic Segmentation は、固定されたクラスセットを超えるオブジェクトまたは画像領域のセグメンテーションを可能にし、動的な環境における柔軟性を提供します。しかし、既存の手法は単一眼画像に依存しており、特にOcclusionおよびオブジェクトの境界近くでは空間的な精度が低いという課題があります。当社は、ステレオビジョンと Vision-Language モデルを活用した最初のステレオ OpEN Vocabulary SEManantic Segmentation の研究である SENSE を提案します。ステレオ画像ペアを活用することで、空間推論とセグメンテーション精度を向上させる幾何学的なクイを導入しました。PhraseStereo データセットでトレーニングを行った際、PhraseStereo におけるベースライン手法に対する平均精度 (AP) は +2.9%、最競合手法に対する +0.76% の改善を達成しました。SENSE はさらに、Cityscapes における mIoU がベースラインに対して相対 +3.5%、KITTI において +18% 改善を示しました。語義と幾何学を联合的に推論することにより、SENSE は自然言語からの正確なシーンの理解をサポートし、自律型ロボットおよびインテリジェント輸送システムにとって不可欠です。

arXiv:2604.15946v1 Announce Type: new Abstract: Open-vocabulary semantic segmentation enables models to segment objects or image regions beyond fixed class sets, offering flexibility in dynamic environments. However, existing methods often rely on single-view images and struggle with spatial precision, especially under occlusions and near object boundaries. We propose SENSE, the first work on Stereo OpEN Vocabulary SEmantic Segmentation, which leverages stereo vision and vision-language models to enhance open-vocabulary semantic segmentation. By incorporating stereo image pairs, we introduce geometric cues that improve spatial reasoning and segmentation accuracy. Trained on the PhraseStereo dataset, our approach achieves strong performance in phrase-grounded tasks and demonstrates generalization in zero-shot settings. On PhraseStereo, we show a +2.9% improvement in Average Precision over the baseline method and +0.76% over the best competing method. SENSE also provides a relative improvement of +3.5% mIoU on Cityscapes and +18% on KITTI compared to the baseline work. By jointly reasoning over semantics and geometry, SENSE supports accurate scene understanding from natural language, essential for autonomous robots and Intelligent Transportation Systems.