GO-MLVTON：拡散モデルを用いた衣服不飽和を考慮したマルチレイヤー仮想トライオン

arXiv:2601.13524v3 Announce Type: replace Abstract: 既存の画像ベースの仮想トライオン（VTON）手法は、単一レイヤーまたはマルチガーメント VTON に焦点を当てており、人体に複数のレイヤーの衣服を着せ、現実的な変形と重ね合わせを実現して視覚的に説得的な結果を生成するマルチレイヤー VTON（ML-VTON）を軽視しています。主な課題は、内側と外側の衣服間の不飽和関係を正確にモデリングし、余分な内側ガーメント特性からの干渉を削減することです。これを解決するため、GO-MLVTON（初めてとなるマルチレイヤー VTON 手法）を提案し、不飽和関係を学習するための Garment Occlusion Learning モジュールと、StableDiffusion ベースの Garment Morphing & Fitting モジュール（衣服を人体に変形・着せ付ける）を導入し、高品質なマルチレイヤートライオン結果を生成します。さらに、このタスク向けの MLG データセットを公開し、評価のための新しい指標 Layered Appearance Coherence Difference（LACD）を提案します。大規模な実験を通じて、GO-MLVTON の state-of-the-art 性能が示されました。 プロジェクトページ：https://upyuyang.github.io/go-mlvton/

arXiv:2601.13524v3 Announce Type: replace Abstract: Existing image-based virtual try-on (VTON) methods primarily focus on single-layer or multi-garment VTON, neglecting multi-layer VTON (ML-VTON), which involves dressing multiple layers of garments onto the human body with realistic deformation and layering to generate visually plausible outcomes. The main challenge lies in accurately modeling occlusion relationships between inner and outer garments to reduce interference from redundant inner garment features. To address this, we propose GO-MLVTON, the first multi-layer VTON method, introducing the Garment Occlusion Learning module to learn occlusion relationships and the StableDiffusion-based Garment Morphing & Fitting module to deform and fit garments onto the human body, producing high-quality multi-layer try-on results. Additionally, we present the MLG dataset for this task and propose a new metric named Layered Appearance Coherence Difference (LACD) for evaluation. Extensive experiments demonstrate the state-of-the-art performance of GO-MLVTON. Project page: https://upyuyang.github.io/go-mlvton/.