Working Memory Constraints Scaffold Learning in Transformers under Data Scarcity

arXiv:2604.20789v2 Announce Type: cross 摘要：我々は、人間の類似的作業記憶の制約を Transformer アーキテクチャに統合し、固定幅ウィンドウベースや時間減衰ベースの注意機構を含む、いくつかの認知にインスパイアされた注意バリエーションを実装しました。我々の変更された GPT-2 モデルは、発達的に妥当なデータセット（1,000 万語と 1,000 万語）から最初からトレーニングされました。性能は、文法的判断タスク（BLiMP）と人間の読時間データとの一致について評価されました。我々の結果は、これらの認知にインスパイアされた制約、特に固定幅の注意が、特にトレーニングデータが不足している場合、文法精度を大幅に改善できることを示しています。これらの制約されたモデルは、人間のプロセッシング指標との強い一致も示す傾向があります。これらの発見は、そのような制約が、データ制限された環境において、より頑健な言語表現へとモデルを誘導する有益な誘導バイアスとして機能する可能性があることを示唆しています。

arXiv:2604.20789v2 Announce Type: cross Abstract: We investigate the integration of human-like working memory constraints into the Transformer architecture and implement several cognitively inspired attention variants, including fixed-width windows based and temporal decay based attention mechanisms. Our modified GPT-2 models are trained from scratch on developmentally plausible datasets (10M and 100M words). Performance is evaluated on grammatical judgment tasks (BLiMP) and alignment with human reading time data. Our results indicate that these cognitively-inspired constraints, particularly fixed-width attention, can significantly improve grammatical accuracy especially when training data is scarce. These constrained models also tend to show a stronger alignment with human processing metrics. The findings suggest that such constraints may serve as a beneficial inductive bias, guiding models towards more robust linguistic representations, especially in data-limited settings.