OPE: Reinforcement Learningによる概要を導く探索を通じて並行的思考を突破する

複雑な問題に挑むための新しいパラダイムである並行的考え方は、大規模な推理モデル（LRM）の中で Emerged したとされています。 最近の方法は、再帰 Reinforcement Learning (RL) を用いた上で、 supervied fine-tuning の制限に対する計算資源および有効性を改善することを目指しています。 ただし、多くの既存の研究では、特に最適化が集中している段階にのみ焦点を当てるため、探求パスの段階に対しては、十分な注意力を払っていないことが明らかです。 本書は、 Reinforcement Learning with Verifiable Rewards (RLVR) の設定における並行的な考えることに対する最適化について理論的に分析を行い、探求パス間の相互情報バストンにより全体的なパフォーマンスが制限されていることを指摘します。 この問題への対処に対しては、我們では OPE を提案しました。 これは、解説に多様な推理を生成し、並行的な探求パスのために概要化空間を分離することで情報の冗長性を減らし、探求パス間で捕獲した情報の多様性を向上させるという明確な戦略です。 OPE は繰り返す Reinforcement Learning 要素の戦略に従って、計画とガイド検索をそれぞれ独立して最適化します。 この誇大な数学的 Benchmarks での多段の実験は、不同な Aggregation の手法で理由性能を効果的に改良し、LRM を正確解りを見つける信頼性が高まったことを証明しています。

arXiv:2602.08344v1 Announce Type: new Abstract: Parallel thinking has emerged as a new paradigm for large reasoning models (LRMs) in tackling complex problems. Recent methods leverage Reinforcement Learning (RL) to enhance parallel thinking, aiming to address the limitations in computational resources and effectiveness encountered with supervised fine-tuning. However, most existing studies primarily focus on optimizing the aggregation phase, with limited attention to the path exploration stage. In this paper, we theoretically analyze the optimization of parallel thinking under the Reinforcement Learning with Verifiable Rewards (RLVR) setting, and identify that the mutual information bottleneck among exploration paths fundamentally restricts overall performance. To address this, we propose Outline-Guided Path Exploration (OPE), which explicitly partitions the solution space by generating diverse reasoning outlines prior to parallel path reasoning, thereby reducing information redundancy and improving the diversity of information captured across exploration paths. We implement OPE with an iterative RL strategy that optimizes outline planning and outline-guided reasoning independently. Extensive experiments across multiple challenging mathematical benchmarks demonstrate that OPE effectively improves reasoning performance in different aggregation strategies, enabling LRMs to more reliably discover correct solutions.