AHS: 擬合成データ拡張を用いた適応的ヘッドシンthesis

arXiv:2604.15857v1 Announce Type: new Abstract: 近年のデジタルメディアの進展により、ポートレート操作に関する高度な技術に対する需要が高まっています。特に、他の個人の身体と滑らかに統合されるようなヘッドスワップ（別体の顔融合）においては、既存のアプローチは主に顔中心のクロップデータや限られた視点角度に依存しており、実世界での適用性を大幅に制限しています。これらは多様な顔の表情、異なる髪型、および顔以外の領域を超えた自然なブレンドに対応するのが困難です。これらの制限に対処するため、私たちは多様な頭の姿勢や表情を持つフルアッパーボディ画像を効果的に処理する適応的ヘッドシンthesis（AHS）を提案しました。AHS は、自己教師あり学習の制約を克服し、多様な顔の表情や向きにわたる汎用性を高めるための、新しいヘッド再演成擬合成データ拡張戦略を統合しました。本戦略は、ペア付けされたトレーニングデータを必要としません。包括的な実験では、AHS は挑戦的な実世界のシナリオにおいて優れた性能を達成し、様々な頭の向きや髪型において、同定性と表情の忠実性を保持した視覚的に整合的な結果を生成することが示されました。特に、AHS は激しい表情の変化にもかかわらず顔の同定性を維持し、大きな頭の姿勢変化を伴いながらアクセサリーを忠実に保持することを示しています。

arXiv:2604.15857v1 Announce Type: new Abstract: Recent digital media advancements have created increasing demands for sophisticated portrait manipulation techniques, particularly head swapping, where one's head is seamlessly integrated with another's body. However, current approaches predominantly rely on face-centered cropped data with limited view angles, significantly restricting their real-world applicability. They struggle with diverse head expressions, varying hairstyles, and natural blending beyond facial regions. To address these limitations, we propose Adaptive Head Synthesis (AHS), which effectively handles full upper-body images with varied head poses and expressions. AHS incorporates a novel head reenacted synthetic data augmentation strategy to overcome self-supervised training constraints, enhancing generalization across diverse facial expressions and orientations without requiring paired training data. Comprehensive experiments demonstrate that AHS achieves superior performance in challenging real-world scenarios, producing visually coherent results that preserve identity and expression fidelity across various head orientations and hairstyles. Notably, AHS shows exceptional robustness in maintaining facial identity while drastic expression changes and faithfully preserving accessories while significant head pose variations.