DexterCap：手でオブジェクトを操作するための安価で自動化されたシステム

細かい動作を捕捉することは、親指が密に近接している複雑な手指と、オブジェクトに対する内側の操作運動などの要因により困難です。現実の光学動画跟踪システムは高コストなカメラ設定や手作業的な後処理を必要とし、低価格でのビジョンベースの方法はその大部分が遮蔽状態で精度と信頼性が低下します。これらのことに対抗するために、我々はDexterCapを開発しました。これは内側で操作される手に対する光学の捕捉システムであり、嚴重な自隔離下の強固な追跡を達成し、さらに自動的な構造化 pipelines を要する最小の手作業労力を要求します。DexterCap のおかげで、我々は DexterHand、複数の操作行動とオブジェクトに対応する細かい指物の交互データセットを導入しました。これは簡単な原始的事項から複雑な連続しているオブジェクトまでの一様な操作法をカバーする範囲となります。我々はデータセットとコードを未来の研究で手助けするために公開します。プロジェクトウェブサイト: https://pku-mocca.github.io/Dextercap-Page/

arXiv:2601.05844v2 Announce Type: replace Abstract: Capturing fine-grained hand-object interactions is challenging due to severe self-occlusion from closely spaced fingers and the subtlety of in-hand manipulation motions. Existing optical motion capture systems rely on expensive camera setups and extensive manual post-processing, while low-cost vision-based methods often suffer from reduced accuracy and reliability under occlusion. To address these challenges, we present DexterCap, a low-cost optical capture system for dexterous in-hand manipulation. DexterCap uses dense, character-coded marker patches to achieve robust tracking under severe self-occlusion, together with an automated reconstruction pipeline that requires minimal manual effort. With DexterCap, we introduce DexterHand, a dataset of fine-grained hand-object interactions covering diverse manipulation behaviors and objects, from simple primitives to complex articulated objects such as a Rubik's Cube. We release the dataset and code to support future research on dexterous hand-object interaction. Project website: https://pku-mocca.github.io/Dextercap-Page/