文脈依存マルコフ決定過程におけるパーソナライズされたフィードバックを利用したインタラクションに基づく学習

arXiv:2602.08307v1 Announce Type: new 本稿では、未知のメカニズムによって生成された間接フィードバックではなく、明示的な数値報酬として受け取れないリアリストシナリオのために設計されたインタラクションに基づく学習 (IGL) [Xie et al., 2021] を研究します。以前の IGL に関する研究は、効率的なアルゴリズムと証明された保証を提供していますが、それらの結果は単一ステップの設定に制限されており、マルチターンの大規模言語モデル (LLM) デプロイメントなどの現代のシークエンシャル・デシジョン・メイキングシステムへの適用を制限しています。このギャップを埋めるために、文脈依存のエピソード型マルコフ決定過程 (MDP) でパーソナライズされたフィードバックを持つ、計算効率的なアルゴリズムが提示され、サブ線形レグレットの保証を実現します。技術的には、単一ステップの設定からマルチステップの設定へ拡張し、MDP における潜在報酬の_decodeing_ の特有の課題に対処するために、Zhang et al. [2024a] の報酬推定器の構築が拡張されます。この推定器に基づき、ポリシー最適化のための逆ギャップ重み付け (IGW) アルゴリズムが設計されます。最後に、合成のエピソード型 MDP と現実世界のユーザー予約データセットの両方で実行された実験を通じて、マルチターンのインタラクションからパーソナライズされた目的を学習する我々の手法の有効性が示唆されます。

arXiv:2602.08307v1 Announce Type: new Abstract: In this paper, we study Interaction-Grounded Learning (IGL) [Xie et al., 2021], a paradigm designed for realistic scenarios where the learner receives indirect feedback generated by an unknown mechanism, rather than explicit numerical rewards. While prior work on IGL provides efficient algorithms with provable guarantees, those results are confined to single-step settings, restricting their applicability to modern sequential decision-making systems such as multi-turn Large Language Model (LLM) deployments. To bridge this gap, we propose a computationally efficient algorithm that achieves a sublinear regret guarantee for contextual episodic Markov Decision Processes (MDPs) with personalized feedback. Technically, we extend the reward-estimator construction of Zhang et al. [2024a] from the single-step to the multi-step setting, addressing the unique challenges of decoding latent rewards under MDPs. Building on this estimator, we design an Inverse-Gap-Weighting (IGW) algorithm for policy optimization. Finally, we demonstrate the effectiveness of our method in learning personalized objectives from multi-turn interactions through experiments on both a synthetic episodic MDP and a real-world user booking dataset.