Back to list
freeのリセット:マーフィー・オーリンズだけにとらわれる推理モデルからの脱出
Free(): Learning to Forget in Malloc-Only Reasoning Models
Translated: 2026/3/7 9:48:16
Japanese Translation
Reasoningモデルは問題解決を強化するためのテスト時のコンピュートをスケールアップしますが、彼らには大きな課題があ Meets:思考のトカゲがしばしばパフォーマンスを低下させることなく改善しないことがあります。これは、標準的なLLMsが「マーフィー・オーリンズ」のみにとらわれるエンジンであるという根本的な構造的な欠陥に基づいています:これらのモデルは常に有効かつ無効なステップを同一直線で累積します。しかしそれに対して、我々はフリーエム・LMを提案することによってこの循環を打ち破します。それはFree-メンバが含まれる自滅モジュールによる内部のローファッターの接続を利用して、モデルに自己忘却の能力を内蔵しており、そのモード間で再思考とクリーンメソッドを行えるようにすることであります。これはフレキシブラ・ロス・アダプタ機能をプラグナップします。 Free()LMはそれぞれの状態を持続的な機械学習を維持するための有用な自由から解放されると、長期的なタスクでのパフォーマンセーにまで改善を与えます。これはそのような事例では特に重要な点です:Qwen3-235B-A22Bモデルが最終的には完全には Collapse、0%の正確性になるように。私たちの発見は、賢明な知能への自由度を忘却する重要性をもたらすだけでなく、思考の能力を持つことと同等の力を必要とするすることです。
Original Content
arXiv:2602.08030v1 Announce Type: new
Abstract: Reasoning models enhance problem-solving by scaling test-time compute, yet they face a critical paradox: excessive thinking tokens often degrade performance rather than improve it. We attribute this to a fundamental architectural flaw: standard LLMs operate as "malloc-only" engines, continuously accumulating valid and redundant steps alike without a mechanism to prune obsolete information. To break this cycle, we propose Free()LM, a model that introduces an intrinsic self-forgetting capability via the Free-Module, a plug-and-play LoRA adapter. By iteratively switching between reasoning and cleaning modes, Free()LM dynamically identifies and prunes useless context chunks, maintaining a compact and noise-free state.
Extensive experiments show that Free()LM provides consistent improvements across all model scales (8B to 685B). It achieves a 3.3% average improvement over top-tier reasoning baselines, even establishing a new SOTA on IMOanswerBench using DeepSeek V3.2-Speciale. Most notably, in long-horizon tasks where the standard Qwen3-235B-A22B model suffers a total collapse (0% accuracy), Free()LM restores performance to 50%. Our findings suggest that sustainable intelligence requires the freedom to forget as much as the power to think.