Backtracking Feedback を備えた強化学習

arXiv:2602.08377v1 Announce Type: new Abstract: 大規模言語モデル（LLMs）における堅牢な安全性、特に敵対攻撃および分布内誤差への対応という重要なニーズに応えるために、Backtracking Feedback（再確認フィードバック）を備えた強化学習（RLBF）を導入しました。この枠組みは、BSAFE などの先続手法を主な強化学習（RL）段階で進歩させ、モデルが動的に自身の生成誤りを見極め、自己修正する能力を付与しています。モデルのライブ出力に対する批評家フィードバックを介した RL を使用することで、LLMs は実際に出現した安全上の違反を特定し、効率的な「x トークンによるバックトラック」シグナルを生成し、その後 autoregressively（再帰的）に生成を続けます。この RL プロセスは、Middle Filling、Greedy Coordinate Gradient（GCG）攻撃、デコードパラメータ操作などの洗練された敵対的戦略に対する耐性を植え付けるために不可欠です。このバックトラック機能の習得をさらに支援するために、我々は Enhanced Supervised Fine-Tuning（SFT）データ生成戦略（BSAFE+）も提案しました。この手法は、以前のデータ作成技法を改善し、整合性のある元々の安全テキストに違反を注入することで、バックトラックメカニズムに対するより効果的な初期トレーニングを提供します。包括的な実証評価は、RLBF が多様なベンチマークおよびモデルスケールにおいて攻撃成功率を大幅に削減するとともに、優越的な安全性の達成を基礎モデルの利便性の保護を同時に維持する上で重要であることを示しています。

arXiv:2602.08377v1 Announce Type: new Abstract: Addressing the critical need for robust safety in Large Language Models (LLMs), particularly against adversarial attacks and in-distribution errors, we introduce Reinforcement Learning with Backtracking Feedback (RLBF). This framework advances upon prior methods, such as BSAFE, by primarily leveraging a Reinforcement Learning (RL) stage where models learn to dynamically correct their own generation errors. Through RL with critic feedback on the model's live outputs, LLMs are trained to identify and recover from their actual, emergent safety violations by emitting an efficient "backtrack by x tokens" signal, then continuing generation autoregressively. This RL process is crucial for instilling resilience against sophisticated adversarial strategies, including middle filling, Greedy Coordinate Gradient (GCG) attacks, and decoding parameter manipulations. To further support the acquisition of this backtracking capability, we also propose an enhanced Supervised Fine-Tuning (SFT) data generation strategy (BSAFE+). This method improves upon previous data creation techniques by injecting violations into coherent, originally safe text, providing more effective initial training for the backtracking mechanism. Comprehensive empirical evaluations demonstrate that RLBF significantly reduces attack success rates across diverse benchmarks and model scales, achieving superior safety outcomes while critically preserving foundational model utility.