Multimodal Large Language Models向け Modality Gap 駆動サブスペース整合トレーニングパラダイム

arXiv:2602.07026v1 発表タイプ: new 概要: マルチモーダルな contrastive learning は視覚表現と言語表現の整合に成功しているにもかかわらず、持続的な幾何学的異常である Modality Gap が依然として存在する。異なるモダリティで同一の意味を表す埋め込みが系統的にオフセットした領域を占めるという現象である。従来のモダリティギャップ解消アプローチは、等方性（isotropic）といった過度に単純化された仮定に依存することが多く、大規模な場面への適用が制約されている。本稿では、モダリティギャップの幾何学的形状を厳密に特徴付け、それを効率的なモデルスケーリングに活用することでこれらの制約に対処する。 まず、Fixed-frame Modality Gap Theory を提案する。本理論は、凍結された参照フレーム内でモダリティギャップを安定したバイアスと異方性（anisotropic）残差に分解する。こうした精密なモデリングに基づき、我々はトレーニング不要のモダリティ整合戦略 ReAlign を導入する。大量の unpaired データから得られる統計量を利用して、ReAlign は Anchor、Trace、および Centroid Alignment の三段階プロセスを通じてテキスト表現を画像表現の分布へと合わせ、幾何学的な不整合を明示的に是正する。 さらに ReAlign を基盤として、我々は Multimodal Large Language Models（MLLMs）向けのスケーラブルなトレーニングパラダイム ReVision を提案する。ReVision は事前学習（pretraining）段階に ReAlign を組み込み、visual instruction tuning の前にペアになっていないテキストから視覚表現の分布を学習させることを可能にするため、大規模で高品質な image-text pairs を大量に用意する必要を排する。本フレームワークは、統計的に整合された非対データが高価な image-text ペアに替わる有効な手段となり得ることを示し、MLLMs の効率的なスケーリングに対する堅牢な道筋を提供する。

arXiv:2602.07026v1 Announce Type: new Abstract: Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.