合意の罠からの脱却：ルール支配型 AI の評価における正当性シグナル

arXiv:2604.20972v1 発表タイプ：新規 概要：コンテンツモデレーションシステムは、通常、人間のラベルとの一致率によって評価されています。ただし、ルール支配型の環境ではこの仮定が成立しなくなります。複数の決定は管理方針と論理的に一致し得、一致指標は有効な決定を懲罰し、曖昧さを誤ってエラーと特性づける―これを「合意の罠」と呼ばれます。我々は評価を「方針に基づく正し」として形式化し、正当性指数（DI）と曖昧さ指数（AI）を導入しました。追加の監査パスなしに推理の安定性を推定するために、監査モデルのトークンのログプロバビリティから導出された確率論的正当性シグナル（PDS）を導入しました。我々は、監査モデルをコンテンツポリシー違反の有無を決めるのではなく、提案された決定が管理規則階層から論理的に導き出せるかを検証するものとして展開することで、LLM の推理_trace_を判定出力ではなく統治シグナルとして活用しています。193,000 件の以上の Reddit モデレーション決定を対象とした複数のコミュニティおよび評価グループでフレームワークを検証し、合意ベースの指標と方針ベースの指標の間には 33-46.6 パーセンテージポインタットの差が見られ、モデルの偽陰性率の 79.8-80.6％は真の誤りではなく方針に基づく決定に対応することを発見しました。さらに、同じコミュニティの規則の 3 つの階層において 37,286 件の同一決定を監査することにより、AI を 10.8 パーセントポイント削減し DI を安定に維持することができ、これは規則の特定性が測定された曖昧さの駆動力であることを示しています。反復サンプリング解析は、PDS の変動がエンコーディングノイズよりも統治の曖昧さに起因することを示しました。これらのシグナルに基づく「統治ゲート」は、78.6％の自動化被覆率と 64.9％のリスク削減を実現しました。これらの結果は、ルール支配型の環境における評価は歴史的ラベルとの合意から、明示的なルール下的における推理に基づく有効性にシフトすべきであることを示しています。

arXiv:2604.20972v1 Announce Type: new Abstract: Content moderation systems are typically evaluated by measuring agreement with human labels. In rule-governed environments this assumption fails: multiple decisions may be logically consistent with the governing policy, and agreement metrics penalize valid decisions while mischaracterizing ambiguity as error - a failure mode we term the Agreement Trap. We formalize evaluation as policy-grounded correctness and introduce the Defensibility Index (DI) and Ambiguity Index (AI). To estimate reasoning stability without additional audit passes, we introduce the Probabilistic Defensibility Signal (PDS), derived from audit-model token logprobs. We harness LLM reasoning traces as a governance signal rather than a classification output by deploying the audit model not to decide whether content violates policy, but to verify whether a proposed decision is logically derivable from the governing rule hierarchy. We validate the framework on 193,000+ Reddit moderation decisions across multiple communities and evaluation cohorts, finding a 33-46.6 percentage-point gap between agreement-based and policy-grounded metrics, with 79.8-80.6% of the model's false negatives corresponding to policy-grounded decisions rather than true errors. We further show that measured ambiguity is driven by rule specificity: auditing 37,286 identical decisions under three tiers of the same community rules reduces AI by 10.8 pp while DI remains stable. Repeated-sampling analysis attributes PDS variance primarily to governance ambiguity rather than decoding noise. A Governance Gate built on these signals achieves 78.6% automation coverage with 64.9% risk reduction. Together, these results show that evaluation in rule-governed environments should shift from agreement with historical labels to reasoning-grounded validity under explicit rules.