AIアгентが本物のStripe整合性を構築できるのか？我々は評価環境を作ってその度量を見つける

最新のLLMは現在、多数のスコープされたコーディング問題を解決できますが、完全に自立してソフトウェアエンジニアリングプロジェクトを管理することができるかどうかについてはまだ疑問がある点です。我々は数ヶ月を費やしてAIアグネーターが本物のStripe整合性を作成できる程度の評価環境を作って測定するための時間を費やしました。

State-of-the-art LLMs can now solve a majority of scoped coding problems, but it’s an open question whether they can fully autonomously manage software engineering projects. We spent months building evaluation environments to benchmark how well AI agents can create real Stripe integrations.