MMCORE: モーダル間接続を可能にする表現一致ラテンテンベッディング

arXiv:2604.19902v1 発表タイプ：クロス Abstract：我々は、マルチモーダル画像生成と編集のために設計された統合的なフレームワークである MMCORE を提示します。MMCORE は、事前学習されたビジョン言語モデル (VLM) を活用し、学習可能なクエリトークンを用いてセマンティックな視覚エンベッディングを予測します。これらが条件付け信号として拡散モデルに利用されることで、この簡略化された設計は、VLM における豊かで推理的な理解能力を視覚生成プロセスに効果的に転移させます。自己回帰モデルと拡散モデル間の深い融合やゼロからの訓練を要しなくなることにより、MMCORE は計算オーバーヘッドを大幅に削減しつつ、高忠実度のシンテシスを維持します。 MMCORE は、テキストから画像のシンテシスと、挿入された画像生成をスムーズに統合し、空間推理や視覚アンカーリングを含む複雑なシナリオにおける頑健なマルチモーダル理解を示しました。包括的な評価により、MMCORE は、テキストから画像のシンテシスおよび単一・複数画像の編集ベンチマークの幅広いスペクトルにおいて、最先进のベースラインを一貫して凌駕していることが示されています。

arXiv:2604.19902v1 Announce Type: cross Abstract: We present MMCORE, a unified framework designed for multimodal image generation and editing. MMCORE leverages a pre-trained Vision-Language Model (VLM) to predict semantic visual embeddings via learnable query tokens, which subsequently serve as conditioning signals for a diffusion model. This streamlined design effectively transfers the rich understanding and reasoning capabilities of VLMs into the visual generation process. By obviating the need for deep fusion between autoregressive and diffusion models or training from scratch, MMCORE significantly reduces computational overhead while maintaining high-fidelity synthesis. MMCORE seamlessly integrates text-to-image synthesis with interleaved image generation, demonstrating robust multimodal comprehension in complex scenarios such as spatial reasoning and visual grounding. Comprehensive evaluations indicate that MMCORE consistently outperforms state-of-the-art baselines across a broad spectrum of text-to-image and single/multi-image editing benchmarks.