本記事では、Cursor、GitHub Copilot、Claude Code、Augment、Codex CLI、Gemini CLIといったAIコーディングエージェントがゼロからソフトウェアを作る能力の最新評価結果をご紹介します。
後半でお話しする「AIがどこでつまずくのか」という分析と、「ツールごとの成績の違い」は、実務でAIコーディングツールを使う方にとって非常に参考になる内容ですので、ぜひ注目してください。
なぜこの研究が必要だったのか
最近、ChatGPTやClaudeなどのAIに「こういうアプリ作って」と伝えるだけで、コードを書いてくれるようになりましたよね。この「ざっくり指示するだけでAIがコードを書いてくれる」スタイルは、「バイブコーディング」と呼ばれることもあります。
そんな状況の中、これまでのAI評価テストには課題がありました。HumanEvalやMBPPという有名なテストは、「この関数を完成させて」という小さな課題だけ。SWE-benchというテストも、すでにあるプログラムのバグを直すだけなのです。
実際の開発は、ゼロからフォルダ構成を考えて、複数のファイルを作って、ビルド設定も書いて、全部が連携して動くようにしないといけませんよね。そういう「最初から最後まで全部やる」能力を測るテストがなかったのです。
そんな背景から行われた調査事例を取り上げます。「プロジェクト全体を最初から作れますか？」をAIに問う、初めての本格的な評価です。
