主観的_PROCEDURE_AIアシスタントの開発：手法、ベンチマーク、および課題

arXiv:2511.13261v2 Announce Type: replace 要旨：最近の視覚言語モデル（VLMs）および主観的知覚研究の進展を受けて、第一人称視点で日常の手順業務を段階的に支援する「主観的_PROCEDURE_AIアシスタント（EgoProceAssist）」という新しいトピックが提起されました。本論文では、EgoProceAssistの3つの核心タスクである「主観的_PROCEDURE エラー検出」、「主観的_PROCEDURE 学習」、「主観的_PROCEDURE 質問回答」を特定し、これらを可能にする2つの次元である「リアルタイムおよびストリーミングビデオ理解」「手順文脈における能動的インタラクション」を導入します。これらのタスクを新たな分類体系の中でEgoProceAssistの必須機能として定義し、日常活動アシスタントとして現実のシナリオで展開する方法を示します。具体的には、これまでの手法、関連するデータセット、評価指標に関するこれらの5つの核心領域における包括的なレビューを含んでいます。提案したEgoProceAssistと既存のVLMベースのアシスタントとの間に存在するギャップを明確にするために、代表するVLMベースの手法について包括的な評価を提供するための新しい実験を施しました。これらの知見と技術的分析を通じて、今後の課題と将来の研究方向について議論します。さらに、本研究の詳細リストは、最新の研究を継続的に収集するアクティブなレポジトリに公開されています：https://github.com/z1oong/Building-Egocentric-Procedural-AI-Assistant

arXiv:2511.13261v2 Announce Type: replace Abstract: Driven by recent advances in vision-language models (VLMs) and egocentric perception research, the emerging topic of an egocentric procedural AI assistant (EgoProceAssist) is introduced to step-by-step support daily procedural tasks in a first-person view. In this paper, we start by identifying three core tasks in EgoProceAssist: egocentric procedural error detection, egocentric procedural learning, and egocentric procedural question answering, then introduce two enabling dimensions: real-time and streaming video understanding, and proactive interaction in procedural contexts. We define these tasks within a new taxonomy as the EgoProceAssist's essential functions and illustrate how they can be deployed in real-world scenarios for daily activity assistants. Specifically, our work encompasses a comprehensive review of current techniques, relevant datasets, and evaluation metrics across these five core areas. To clarify the gap between the proposed EgoProceAssist and existing VLM-based assistants, we conduct novel experiments to provide a comprehensive evaluation of representative VLM-based methods. Through these findings and our technical analysis, we discuss the challenges ahead and suggest future research directions. Furthermore, an exhaustive list of this study is publicly available in an active repository that continuously collects the latest work: https://github.com/z1oong/Building-Egocentric-Procedural-AI-Assistant.