潜在的な理由モデルの Emergent Search と追従

言語モデルが文字で思考することはどのようになるのか？通常の言語モデルは中間ステップを文脈化することで、chain-of-thoughtを実現します。一方、隠れた推論トランスフォーマは、連続的な隠れ空間内ですべての計算を行い、中間ステップは言葉で説明せずです。私たちは、LRTが複数の選択問題を対象とした評価指標において直近の答えを選んで推理していることを見出しました。それについて、モデルが経験した探索過程と追従の様子は、確固つ道へ向かって探査から再び探索方向に戻る形でした。背に押されて、約3割のケースで誤解の指摘があり、誤りに対処することが可能なため、結果としてAccuracyが、実行せずに誤った選択をした時のそれよりも34%高くなりました。これらのモデルは、隠れ空間においてActivationをすることで文字によるchain-of-thoughtと同様に間違えを犯し、それを認識できるだけでなく、再び戻りつつ誤解を取り除くことも可能であることを示しています。

arXiv:2602.08100v1 Announce Type: cross Abstract: What happens when a language model thinks without words? Standard reasoning LLMs verbalize intermediate steps as chain-of-thought; latent reasoning transformers (LRTs) instead perform deliberation entirely in continuous hidden space. We investigate an LRT, decoding the model's evolving beliefs at every step on a multiple-choice QA benchmark. We find that the model spontaneously learns a structured search process in latent space. Deliberation follows a consistent trajectory: an exploration phase where probability mass spreads across candidates, tentative commitment to a frontrunner, and either convergence or backtracking. Backtracking is prevalent (32% of instances), beneficial (34% accuracy gain over non-backtracking instances), and predominantly directed away from the semantically closest distractor toward the correct answer. The search is adaptive: replacing distractors with implausible alternatives shortens exploration by 54%. Latent reasoning models achieve in activation space what chain-of-thought achieves through words: the ability to be wrong, notice, and recover.