同位置テスト：より優れた AI コード生成。テスト構文が基礎モデルのコード生成にどう影響するか

arXiv:2604.19826v1 Announce Type: cross Abstract: AI コーディングアシスタントは、コード生成とともにテストも生成するようになっています。開発者がテストコードをどのように構造化するか、実装と同じライン内にするか、それとも別ブロックにするか、は伝統的にテスト哲学の問題でしたが、本研究ではこの選択が AI コード生成の品質にどのような影響を与えるかを調査します。 大規模な実証研究（830 件以上の生成ファイル、12 モデル、3 プロバイダー）を実施し、決定性（Determinism）、保存性（Preservation）、正確性（Correctness）の 3 次元評価フレームワークである SEGA を使用しました。d-ary ヒープの実装において、同位置テスト構文（Python doctest）と分離テスト構文（Rust #[test] ブロック）を比較した結果、以下の点が明らかになりました：(1) 同位置テストは、すべてのモデルで保存性（100%）と正確性（92-100%）に近 perfect を達成する；(2) 分離テストは、モデル階層間の明確な誤差（正確性 0-100%）および保存性と正確性の独立性を露出する；(3) モデルの動作は世代を超えて変化し、あるモデルはその 3 つの先行モデルが破ったテスト抑制パターンを破った点に注意を；(4) 7 つのオープンソースアーキテクチャ（6 つのトランフォームラーと 1 つのゲート付き線形リカレントニューラルネットワーク [RNN]）における機構的分析では、5/7 モデルにおいて同位置テストマーカーは 2.8-4.4 倍の強い注意を受け、4 つのコード専門トランフォームラーおよび RWKV-6 におけるカusal 検証を無効化実験とステアリング実験によって；同位置化メカニズムはトランフォームラー以外のアーキテクチャにも拡張しており、設計推奨が将来のアーキテクチャシフトに対して頑健である可能性を示唆しています。基礎モデルの時代において、テスト構文の構造はソフトウェア設計の課題となります。実装コードとテストを同位置に配置することで、測可能に優れた AI 生成されたコードが得られます。この arXiv 長期版には、効果の限界がモデル的能力とプログラミング言語によって規定されることを追加資格する付録が含まれています。

arXiv:2604.19826v1 Announce Type: cross Abstract: AI coding assistants increasingly generate code alongside tests. How developers structure test code, whether inline with the implementation or in separate blocks, has traditionally been a matter of testing philosophy. We investigate whether this choice affects AI code generation quality. We conduct a large-scale empirical study (830+ generated files, 12 models, 3 providers) using SEGA, a three-dimensional evaluation framework measuring Determinism, Preservation, and Correctness. Comparing inline test syntax (Python doctests) against separated test syntax (Rust #[test] blocks) on a d-ary heap implementation, we find that: (1) inline tests yield near-perfect preservation (100%) and correctness (92-100%) across all models; (2) separated tests expose stark model-tier gaps (0-100% correctness) and independence between preservation and correctness; (3) model behavior evolves across generations, and notably one model breaks the test suppression pattern of its three predecessors; (4) mechanistic analysis on 7 open-source architectures (6 transformers and a gated-linear Recurrent Neural Network (RNN)) reveals inline test markers receive 2.8-4.4$\times$ stronger attention in 5/7 models, with causal validation via knockout and steering experiments on the 4 code-specialized transformers and RWKV-6; the co-location mechanism extends to a non-transformer architecture, suggesting the design recommendation is robust to future architectural shifts. In the Foundation Model era, test syntax structure is a software design concern: co-locating tests with implementation code produces measurably better AI-generated code. This arxiv long version includes appendices that further qualify the effect as bounded by both model capability and programming language.