DyTact: 手 - 物体操作における動的接触の捉え方

arXiv:2506.03103v2 Announce Type: replace 抽象: AI キャラクターアニメーション、XR、ロボット工学におけるリアリスト的な操作を実現するために、手 - 物体の動的接触の再構築が不可欠であり、しかし既存の捉え方には重度の隠蔽、複雑な表面詳細、技術的限界が理由として重大な課題を残している。この論文では、手 - 物体操作における動的接触を侵襲なく正確に捉えるためのマーカーレス捉え方である DyTact を導入する。我々のアプローチは、複雑な操作をモデル化するために 2D Gaussian surfels に基づいた動的で関節を持つ表現を利用する。これら surfels を MANO メッシュに結合させることにより、DyTact はテンプレートモデルの誘導バイアスを活用し、最適化を安定させ、加速させる。再細分化モジュールは時間依存の高周波変形を対処し、重度の隠蔽に対処するために接触ガイド付き適応的サンプリング戦略は接触領域における surfel の密度を選択的に増加させる。大規模な実験において、DyTact は画期的な動的接触推定精度だけでなく、新視視点合成の品質も大幅に改善し、最適化とメモリ使用量が高速かつ効率的であることを示した。プロジェクトページ：https://oliver-cong02.github.io/DyTact.github.io/

arXiv:2506.03103v2 Announce Type: replace Abstract: Reconstructing dynamic hand-object contacts is essential for realistic manipulation in AI character animation, XR, and robotics, yet it remains challenging due to heavy occlusions, complex surface details, and limitations in existing capture techniques. In this paper, we introduce DyTact, a markerless capture method for accurately capturing dynamic contact in hand-object manipulations in a non-intrusive manner. Our approach leverages a dynamic, articulated representation based on 2D Gaussian surfels to model complex manipulations. By binding these surfels to MANO meshes, DyTact harnesses the inductive bias of template models to stabilize and accelerate optimization. A refinement module addresses time-dependent high-frequency deformations, while a contact-guided adaptive sampling strategy selectively increases surfel density in contact regions to handle heavy occlusion. Extensive experiments demonstrate that DyTact not only achieves state-of-the-art dynamic contact estimation accuracy but also significantly improves novel view synthesis quality, all while operating with fast optimization and efficient memory usage. Project Page: https://oliver-cong02.github.io/DyTact.github.io/ .