プロンプトを注意せよ：LLM を用いたタスク計画の説明の自己適応的生成

arXiv:2604.21092v1 発表タイプ：新規 摘要：大規模言語モデル（LLM）を複雑なソフトウェアシステムに統合することは、暗黒 AI プロセス、例えば自動的なタスク計画の人間が理解できる説明を生成することを可能にします。ただし、これらの説明の品質と信頼性は、効果的なプロンプトエンジニアリングに大きく依存します。多様な利害関係者がプロンプトをどのように作成・修正するかが体系的に理解されていないことは、このプロセスを自動化できるツールの開発を阻害しています。私たちは、プロンプトエンジニアリングを認知および確率的意思決定プロセスとして形式化する、実証概念レベルの自己適応的アプローチである COMPASS（COgnitive Modelling for Prompt Automated SynthesiS）を導入します。COMPASS は、注意と理解、不確実性など、不可視なユーザーの潜在的認知状態、および可視なインタラクションの手がかりを POMDP としてモデル化し、その合成されたポリシーが説明およびプロンプトの調整の自己適応的生成を可能にします。私たちは、2 つの多様なサイバー物理システム事例研究を使用して、適応的説明の生成とその品質を定量的かつ定性的に評価しました。私の結果は、COMPASS が複雑なタスク計画システムにおいて、人間の認知とユーザープロファイルのフィードバックを自動プロンプト合成に統合する可能性を示しています。

arXiv:2604.21092v1 Announce Type: new Abstract: Integrating Large Language Models (LLMs) into complex software systems enables the generation of human-understandable explanations of opaque AI processes, such as automated task planning. However, the quality and reliability of these explanations heavily depend on effective prompt engineering. The lack of a systematic understanding of how diverse stakeholder groups formulate and refine prompts hinders the development of tools that can automate this process. We introduce COMPASS (COgnitive Modelling for Prompt Automated SynthesiS), a proof-of-concept self-adaptive approach that formalises prompt engineering as a cognitive and probabilistic decision-making process. COMPASS models unobservable users' latent cognitive states, such as attention and comprehension, uncertainty, and observable interaction cues as a POMDP, whose synthesised policy enables adaptive generation of explanations and prompt refinements. We evaluate COMPASS using two diverse cyber-physical system case studies to assess the adaptive explanation generation and their qualities, both quantitatively and qualitatively. Our results demonstrate the feasibility of COMPASS integrating human cognition and user profile's feedback into automated prompt synthesis in complex task planning systems.