Back to list
arxiv_cs_cv 2026年2月10日

HyPlaneHead: フルヘッド画像合成におけるトライプラン像表現の再考

HyPlaneHead: Rethinking Tri-plane-like Representations in Full-Head Image Synthesis

Translated: 2026/3/15 13:02:27
full-head-image-synthesisgan3d-representationsdeep-learninghyplanehead

Japanese Translation

arXiv:2509.16748v2 Announce Type: replace 要旨:トライプランのような表現は、3D 認識 GAN の頭部画像合成およびその他の 3D オブジェクト/シーンモデリングタスクにおいて、その効率性から広く採用されてきた。しかし、Cartesian 座標投影による特徴量のクエリは、特徴量の絡み合いを引き起こし、鏡像アートを生じる傾向がある。最近の研究である SphereHead では、球面座標系に基づく球面トライプランを導入してこの問題に対処しようとした。SphereHead は特徴量の絡み合いを軽減したものの、正方形の特徴マップと球面平面との間の不均衡なマッピングにより、レンダリング時の特徴マップ利用効率の低下や、微細な画像詳細の生成困難を引き起こした。さらに、トライプランおよび球面トライプランの両表現は、同一の微妙で持続的な問題を抱えており、それがコンバリューションチャネル間の特徴量貫通によって生じる平面間の干渉である。特に、他の平面と比較して優勢になる平面では、この干渉は顕著になる。これらの課題は、トライプランに基づく手法がその全潜在力を発揮することを妨げている。本稿では、これら問題を初めて体系的に分析し、それらを解決するための革新的な解決策を提案する。具体的には、平面と球面平面のそれぞれの特長を活かしつつ、その欠点を回避する新たなハイブリッド平面(ここでは hy-plane と略称)表現を導入する。我々は、従来の theta-phi 歪み代わりに、正方形の特徴マップの有効利用を最大化する新しい近似的等面積歪み戦略を採用し、球面平面をさらに向上させた。加えて、我々のジェネレーターは、複数の特徴マップで別々のチャネルを用いるのではなく、単一チャネルの統合された特徴マップを合成することで、特徴量の貫通を効果的に排除する。技術的改善の数多くの取り組みにより、我々の hy-plane 表現は、フルヘッド画像合成において州外最(state-of-the-art)のパフォーマンスを達成することを可能にした。

Original Content

arXiv:2509.16748v2 Announce Type: replace Abstract: Tri-plane-like representations have been widely adopted in 3D-aware GANs for head image synthesis and other 3D object/scene modeling tasks due to their efficiency. However, querying features via Cartesian coordinate projection often leads to feature entanglement, which results in mirroring artifacts. A recent work, SphereHead, attempted to address this issue by introducing spherical tri-planes based on a spherical coordinate system. While it successfully mitigates feature entanglement, SphereHead suffers from uneven mapping between the square feature maps and the spherical planes, leading to inefficient feature map utilization during rendering and difficulties in generating fine image details. Moreover, both tri-plane and spherical tri-plane representations share a subtle yet persistent issue: feature penetration across convolutional channels can cause interference between planes, particularly when one plane dominates the others. These challenges collectively prevent tri-plane-based methods from reaching their full potential. In this paper, we systematically analyze these problems for the first time and propose innovative solutions to address them. Specifically, we introduce a novel hybrid-plane (hy-plane for short) representation that combines the strengths of both planar and spherical planes while avoiding their respective drawbacks. We further enhance the spherical plane by replacing the conventional theta-phi warping with a novel near-equal-area warping strategy, which maximizes the effective utilization of the square feature map. In addition, our generator synthesizes a single-channel unified feature map instead of multiple feature maps in separate channels, thereby effectively eliminating feature penetration. With a series of technical improvements, our hy-plane representation enables our method, HyPlaneHead, to achieve state-of-the-art performance in full-head image synthesis.