代理の情報論的コスト：分散型強化学習における相互作用効率の上限測定量

arXiv:2603.01283v2 Announce Type: replace-cross 概要：分散型 RL エージェントは、観測値、動作、および結果の間の一貫性な結合を維持することで、信頼性の高いパフォーマンスを発揮する閉ループシステムで動作します。現在の監視アプローチは、反応的に設計された報酬とタスク指標に依存しており、パフォーマンスの崩壊が前駆する構造的分離を無視しています。我々は、部署監視は本質的に不確実性の解明に関する問題であるとする。エージェントの観測と動作が結果の不確実性を削減し続けるか、そして結果がエージェントが何を行ったかについての制約をかけられるかを問うことである。情報理論はこれを直接実質化し、エントロピーが不確実性を、相互情報がループにおけるその解明を量化的する。我々は、観測、動作、結果ループにわたって共有予測可能性に変換される総不確実性予算の割合である「バイ予測可能性 (P)」を導入する。P の理論的性質として、ドメイン、タスク、またはエージェントに依存せず、シャノンエントロピーによる構造的文脈からの証明可能な古典的な上限が P ≤ 0.5 であること。エージェントが存在する場合、罰則により P は厳密にこの天井未満に抑制され、これは訓練されたエージェントにおいて P = 0.33 で確認された。P を実時間監視信号として実質化するために、我々は、モデル的内部へのアクセスなしで、観測可能な相互作用ストリームから P とその方向成分を計算する補助的アーキテクチャである「情報デジタルツイン (IDT)」を導入する。8 種類の扰动タイプと 2 つのパリチアーキテクチャをまたぐ 168 回の扰动試行にわたり、IDT ベースの監視は結合の劣化を 89.3%検出し、これは報酬ベースの監視の 44.0% を上回り、中位ラテンシが 4.4 倍低いことを確認した。これらの結果は、バイ予測可能性を分散型強化学習システムにおける閉ループ自己調整の原理的な、有界な、かつ計算可能な前提信号と確立した。

arXiv:2603.01283v2 Announce Type: replace-cross Abstract: Deployed RL agents operate in closed-loop systems where reliable performance depends on maintaining coherent coupling between observations, actions, and outcomes. Current monitoring approaches rely on reward and task metrics, measures that are reactive by design and blind to structural degradation that precedes performance collapse. We argue that deployment monitoring is fundamentally a question about uncertainty resolution: whether the agent's observations and actions continue to reduce uncertainty about outcomes, and whether outcomes constrain what the agent must have done. Information theory directly operationalizes this question, entropy quantifies uncertainty, and mutual information quantifies its resolution across the loop. We introduce Bipredictability (P), the fraction of the total uncertainty budget converted into shared predictability across the observation, action, outcome loop. A theoretical property is a provable classical upper bound P is less than or equal to 0.5, independent of domain, task, or agent, a structural consequence of Shannon entropy rather than an empirical observation. When agency is present, a penalty suppresses P strictly below this ceiling, confirmed at P equals 0.33 across trained agents. To operationalize P as a real time monitoring signal, we introduce the Information Digital Twin (IDT), an auxiliary architecture that computes P and its directional components from the observable interaction stream without access to model internals. Across 168 perturbation trials spanning eight perturbation types and two policy architectures, IDT based monitoring detected 89.3 percent of coupling degradations versus 44.0 percent for reward based monitoring, with 4.4 times lower median latency. These results establish Bipredictability as a principled, bounded, and computable prerequisite signal for closed loop self regulation in deployed reinforcement learning systems.