Scylla理解：编程海中多头怪兽代理daemonの調査

LLMベースツールは高速でソフトウェア開発タスクを自動化していますが、異なる構造選択、プ_PROMPTs、スキル、ツール、マルチジェネレータセットアップなど違いの評価は現れていません。この論文で「Scylla」という評価フレームワークを導入し、アグェテンタルなコーディングツールに対する比較検討において、複雑性と効率性を直接影響させる何が影響を与えているかを見つけ出すために7つのテストステージ（T0 - T6）を通じて順番に複雑さを増加させます。基本的な指標は「結果で得られた絶対コスト」（CoP：結果を得るための予想された通貨コスト）です。これは、複雑さと効率とのトレードオフを直接的に表明しています。フレームワーク自体はモデルに制限はありませんが、同じベンダーから Claude Sonnet 4.5と呼ばれる多様なLLM（Opus 4.5、Sonnet 4.5、Haiku 4.5）によって評価される審査長に評価された会議を行い、結果を直接テストし、また人間ドリスされたためのLLM-evaluated ラブレットと質的評価により結果が評価されます。これにより、複雑性と結果とのトレードオフが定量的に示される新たなフレームワークが構築されました。ただし、構造化された複雑さは必ずしも品質の向上には至らないことを示します。

arXiv:2602.08765v1 Announce Type: cross Abstract: LLM-based tools are automating more software development tasks at a rapid pace, but there is no rigorous way to evaluate how different architectural choices -- prompts, skills, tools, multi-agent setups -- materially affect both capability and cost. This paper introduces Scylla, an evaluation framework for benchmarking agentic coding tools through structured ablation studies that uses seven testing tiers (T0-T6) progressively adding complexity to isolate what directly influences results and how. The key metric is Cost-of-Pass (CoP): the expected dollar cost to get one correct solution, which directly quantifies the trade-off between complexity and efficiency. The framework is model-agnostic, designed to work with any CLI tool; this paper demonstrates it with Claude Sonnet 4.5, using multiple LLM judges (Opus 4.5, Sonnet 4.5, Haiku 4.5) from the same vendor for evaluation consensus, where judges score results using direct tests, human-designed LLM-evaluated rubrics, and qualitative assessment. The result is a reproducible framework that quantifies trade-offs between agent complexity and actual outcomes, suggesting that architectural complexity does not always improve quality.