VividFace： humanoidロボットにおけるリアルタイムかつリアリスティックな顔表現影付けシステム

humanoidの顔表現の影付けはロボットがリアルタイムで人間の顔表情を再現できる機能で、擬似の人間や感情を含む humanoidロボット及び人間とロボットとの交流において重要です。 現代の進歩する humanoidの顔表現の再現にはまだ制限があり、既存の方法ではリアルタイム性やリアリスティックさを両立することはできません。 クリアな情報に基づいた推論設計が不十分であり、異なる画像ソース間での細かい表情のダイナミクスを捉えたり伝えたりする能力も不足しているからです。 これらに対して我々はVividFaceと呼ぶ新しいリアルタイムかつリアリスティックな顔表現再現システムを開発しました。 X2CNet++という最適な再現フレームワークによって、このソフトウェアは表情の細かいダイナミクスをより正確に再現します。また、異なる画像ソース間での特徴を適応的にトレーニングする戦略も導入しました。 実時間動作を可能にする推論 pipelineと、デバイス間での高效的な情報交換に基づいたワークフローも導入されました。 VividFaceは0. 05秒で人間の顔エモーションを模仿し、多様な表情形態に特徴付けられます。 確かな実世界でのテストが行われており、動画は https://lipzh5.github.io/VividFace/. として公開されています。

arXiv:2602.07506v1 Announce Type: cross Abstract: Humanoid facial expression shadowing enables robots to realistically imitate human facial expressions in real time, which is critical for lifelike, facially expressive humanoid robots and affective human-robot interaction. Existing progress in humanoid facial expression imitation remains limited, often failing to achieve either real-time performance or realistic expressiveness due to offline video-based inference designs and insufficient ability to capture and transfer subtle expression details. To address these limitations, we present VividFace, a real-time and realistic facial expression shadowing system for humanoid robots. An optimized imitation framework X2CNet++ enhances expressiveness by fine-tuning the human-to-humanoid facial motion transfer module and introducing a feature-adaptation training strategy for better alignment across different image sources. Real-time shadowing is further enabled by a video-stream-compatible inference pipeline and a streamlined workflow based on asynchronous I/O for efficient communication across devices. VividFace produces vivid humanoid faces by mimicking human facial expressions within 0.05 seconds, while generalizing across diverse facial configurations. Extensive real-world demonstrations validate its practical utility. Videos are available at: https://lipzh5.github.io/VividFace/.