Gaussian Match-and-Copy：変換器の誘導を調べるためのミニマルベンチマーク

arXiv:2602.07562v1 発表種別：新規 要約：Match-and-copy は、大規模言語モデルが推論時にコンテキストから一致するトークンを検索し、その後続トークンをコピーするための核心的な検索 Primitive です。しかし、この行動が自然データにおいてどのように出現するかを理解するのは困難であり、検索と暗記は不可分になっています。この 2 つを分離するために、Gaussian Match-and-Copy (GMC) というミニマルベンチマークを紹介しました。これは、2 次相関信号のみを使って長距離検索を分離するものです。数値調査は、このタスクが実践において変換器が Match-and-Copy 回路を開発する際の重要な定性側面を保ち、検索能力によって異なるアーキテクチャを区別することを示しています。また、単純化された注意設定における最適化ダイナミクスも分析しました。回帰目的の下では、検索を実行しないものを含む多くの解決策が直感的に可能ですが、我々は勾配下降がパラメータを発散させる一方で、その方向が最大境界分離子と一致するよう駆動するインプリシットバイアス領域を特定しました。これは、明示的な技術的条件下で経験的な損失が消失する GD 軌道における最大境界一致を証明しました。

arXiv:2602.07562v1 Announce Type: new Abstract: Match-and-copy is a core retrieval primitive used at inference time by large language models to retrieve a matching token from the context then copy its successor. Yet, understanding how this behavior emerges on natural data is challenging because retrieval and memorization are entangled. To disentangle the two, we introduce Gaussian Match-and-Copy (GMC), a minimalist benchmark that isolates long-range retrieval through pure second-order correlation signals. Numerical investigations show that this task retains key qualitative aspects of how Transformers develop match-and-copy circuits in practice, and separates architectures by their retrieval capabilities. We also analyze the optimization dynamics in a simplified attention setting. Although many solutions are a priori possible under a regression objective, including ones that do not implement retrieval, we identify an implicit-bias regime in which gradient descent drives the parameters to diverge while their direction aligns with the max-margin separator, yielding hard match selection. We prove this max-margin alignment for GD trajectories that reach vanishing empirical loss under explicit technical conditions.