大量言語モデルのエマージング構造表現が、大規模言語モデルにおけるコンセプスの在地推論を柔軟化する

> 大規模言語モデル（LLMs）は、人間のような推理を示す現象的行動を持つことが証明されています。最近の研究では、これらのモデル内に存在する構造化された、人間的な概念的な表現が提示されていますが、それがどのように推理に対して機能的に関与しているのかについて詳細な理解がまだ確立されていませんでした。ここには、LLMsのための在地推論処理を調査するために中盤から後期に至る層におけるコンセプスの内在表現による構造が現れるという結果が示されています。これを明らかにするために、因果性の補足分析を使用し、「それらの表現は単なる傍流ではなく機能的に重要な役割を果たし、推論に対する causal レベルを設定する」と確認します。また、これらの層の中で注意ヘッドは初期から中盤層間でコンテキストのヒントを取り入れて構築と改善を進めており、それらは遅めの層で予測を生成する際に推論における使用される表現全体として後に取り込まれます。これらの結果によって提供された証拠はLLMsが在地内においてコンセプスを構造化かつ使用する構造的な非効率的を形成し、その適応の柔らかい調整について説明することです。

arXiv:2602.07794v1 Announce Type: cross Abstract: Large language models (LLMs) exhibit emergent behaviors suggestive of human-like reasoning. While recent work has identified structured, human-like conceptual representations within these models, it remains unclear whether they functionally rely on such representations for reasoning. Here we investigate the internal processing of LLMs during in-context concept inference. Our results reveal a conceptual subspace emerging in middle to late layers, whose representational structure persists across contexts. Using causal mediation analyses, we demonstrate that this subspace is not merely an epiphenomenon but is functionally central to model predictions, establishing its causal role in inference. We further identify a layer-wise progression where attention heads in early-to-middle layers integrate contextual cues to construct and refine the subspace, which is subsequently leveraged by later layers to generate predictions. Together, these findings provide evidence that LLMs dynamically construct and use structured, latent representations in context for inference, offering insights into the computational processes underlying flexible adaptation.