言語モデルが数の普遍的な表現を学習している理由とその重要性

arXiv:2510.26285v2 Announce Type: replace-cross Abstract: 先の研究では、大規模言語モデル（LLM）が数値に対する正確な入出力埋め込みへ収束することが示されており、これは正弦波表現に基づいています。本稿では、これらの表現が驚くほど体系的であることを定量化し、実質的にほぼ完全な普遍性に至っていることを示しました。異なる LLM ファミリーは等価な正弦波構造を発展させ、多くの実験設定において数値表現は互換性があることを確認しました。我々は、この特性を適切に考慮することは、LLM による数値情報および他の順序情報に対する符号化の精度評価において不可欠であると示し、さらに機械的にこの正弦波性を強化することは LLM の算術誤差の削減にも繋がると結論付けました。

arXiv:2510.26285v2 Announce Type: replace-cross Abstract: Prior work has shown that large language models (LLMs) often converge to accurate input embedding for numbers, based on sinusoidal representations. In this work, we quantify that these representations are in fact strikingly systematic, to the point of being almost perfectly universal: different LLM families develop equivalent sinusoidal structures, and number representations are broadly interchangeable in a large swathe of experimental setups. We show that properly factoring in this characteristic is crucial when it comes to assessing how accurately LLMs encode numeric and other ordinal information, and that mechanistically enhancing this sinusoidality can also lead to reductions of LLMs' arithmetic errors.