MCIE：空間ガイダンスに裏付けられたマルチモーダル LLM 駆動の複雑な指示に基づく画像編集

arXiv:2602.07993v1 発表タイプ：新 要約：近年、指示に基づいた画像編集の進歩は目覚ましいものがある。しかし、既存の方法はまだ比較的単純な編集操作に限られており、複雑で構成的な指示を必要とする現実世界の適用を妨げている。本研究では、アーキテクチャ設計、データ、評価プロトコルという観点からこれらの課題に対処する。具体的には、現在のモデルにおける 2 つの主要な課題を特定した：指示遵守の不充分性と背景不整合性。この目的で、私たちは、空間ガイダンスを通じてノイズ除去プロセス中にセマンティックな指示と空間領域を明示的に整合させ、指示従う能力を強化する空間認識クロス注意モジュールと、編集されていない領域の特性を維持して背景整合性を保つ背景整合クロス注意モジュールを統合した、マルチモーダル大規模言語モデル（MLM）駆動の複雑な指示に基づく画像編集法 MCIE-E1 を提案した。効果的なトレーニングを可能にするために、私たちは強力なマルチモーダル大規模言語モデル（MLM）による微細な自動フィルタリングと厳密な人間による検証を組み合わせて、複雑な指示に基づく画像編集データの不足を緩和する専用のデータパイプラインを構築した。最後に、複雑な指示に基づく画像編集を包括的に評価するために、私たちは 2 つの新しい評価指標を含む新しいベンチマーク CIE-Bench を導入した。CIE-Bench における実験結果は、MCIE-E1 が定量的および定性的な評価において以前の最良の性能を常に上回ることを示しており、指示遵守率が 23.96% 向上した。 タグ：multimodal-llm, image-editing, spatial-guidance, cross-attention, benchmarking

arXiv:2602.07993v1 Announce Type: new Abstract: Recent advances in instruction-based image editing have shown remarkable progress. However, existing methods remain limited to relatively simple editing operations, hindering real-world applications that require complex and compositional instructions. In this work, we address these limitations from the perspectives of architectural design, data, and evaluation protocols. Specifically, we identify two key challenges in current models: insufficient instruction compliance and background inconsistency. To this end, we propose MCIE-E1, a Multimodal Large Language Model-Driven Complex Instruction Image Editing method that integrates two key modules: a spatial-aware cross-attention module and a background-consistent cross-attention module. The former enhances instruction-following capability by explicitly aligning semantic instructions with spatial regions through spatial guidance during the denoising process, while the latter preserves features in unedited regions to maintain background consistency. To enable effective training, we construct a dedicated data pipeline to mitigate the scarcity of complex instruction-based image editing datasets, combining fine-grained automatic filtering via a powerful MLLM with rigorous human validation. Finally, to comprehensively evaluate complex instruction-based image editing, we introduce CIE-Bench, a new benchmark with two new evaluation metrics. Experimental results on CIE-Bench demonstrate that MCIE-E1 consistently outperforms previous state-of-the-art methods in both quantitative and qualitative assessments, achieving a 23.96% improvement in instruction compliance.