AgentLens: HUA-AG 移動 GUI エージェントにおける人間のエージェント間相互作用に適応した視覚的モード

arXiv:2604.20279v2 Announce Type: replace-cross Abstract: モバイル GUI エージェントは、アプリインターフェースと直接相互作用することでスマートフォンのタスクを自動化できますが、その実行中にユーザーとどのようにコミュニケーションを取るべきかについては未解明な分野です。既存のシステムは、一時的な実行とバックグラウンド実行という二極化の一端に依存しており、前者は透明性を最大化しますがマルチタスクを制限し、後者はマルチタをサポートしますが視覚的な認識を提供しません。反復的な形成研究を通じて、私たちは、即時的な視覚的相互作用を伴う混合モデルがユーザーに好まれることを発見しましたが、最も効果的な視覚化モードはタスクに依存することがわかりました。この動機から、私たちは HUA-AG モバイル GUI エージェント（AgentLens）を導入しました。これは、人間のエージェントとの相互作用の間で 3 つの視覚モード（フル UI、部分 UI、GenUI）を適応的に使用するモバイル GUI エージェントです。AgentLens は標準的なモバイルエージェントの拡張であり、適応的なコミュニケーションアクションと仮想ディスプレイを使用することで、視覚的オーバーレイ付きの選択的なバックグラウンド実行を可能にします。21 名の参加者による制御された研究において、85.7% の参加者が AgentLens を好み、1.94 の総合 PSSUQ と 6.43/7 の採用意図で最も高い利用可能を達成しました。

arXiv:2604.20279v2 Announce Type: replace-cross Abstract: Mobile GUI agents can automate smartphone tasks by interacting directly with app interfaces, but how they should communicate with users during execution remains underexplored. Existing systems rely on two extremes: foreground execution, which maximizes transparency but prevents multitasking, and background execution, which supports multitasking but provides little visual awareness. Through iterative formative studies, we found that users prefer a hybrid model with just-in-time visual interaction, but the most effective visualization modality depends on the task. Motivated by this, we present AgentLens, a mobile GUI agent that adaptively uses three visual modalities during human-agent interaction: Full UI, Partial UI, and GenUI. AgentLens extends a standard mobile agent with adaptive communication actions and uses Virtual Display to enable background execution with selective visual overlays. In a controlled study with 21 participants, AgentLens was preferred by 85.7% of participants and achieved the highest usability (1.94 Overall PSSUQ) and adoption-intent (6.43/7).