ChatGPT、ClaudeといったAIによるコード生成ツールの導入を検討する企業が増えています。しかし、「バグ修正は得意でも、機能の実装は苦手」「Pythonでは高性能だが、他の言語では期待外れ」といったように、タスクや言語ごとの性能にばらつきがあることが知られつつも、それを裏付ける具体的なデータはこれまでほとんど存在しませんでした。
この記事では、実際の検証結果をもとに、LLMがどのタスクで実用的か、どの言語で性能の差が出やすいのか、そしてモデルが失敗しやすいポイントはどこかを明らかにします。
背景
ここ数年で、LLMを使ったコーディング支援ツールはぐんと進化しました。最初は、ちょっとしたコード補完や、いわゆるプログラミングの練習問題を解く程度でしたが、今ではファイルを編集したり、テストを走らせたり、デバッグをしたりと、いくつもの作業を自動でこなせる「コーディングエージェント」にまで進化しています。たとえばClaude CodeやGitHub Copilot Workspaceのようなツールでは、開発者の指示に合わせてコード全体を把握しながら作業できるようになってきました。
ただ、それに見合った評価方法がこれまであまり整っていません。ベンチマークの多くは、「一つのファイルで完結するアルゴリズム問題」に偏っていて、現実の開発現場で求められるような複雑な作業までは評価できていません。
SWE-benchのようにGitHubのリポジトリを使って、より実践的な評価を行う取り組みも登場しています。ただし、主に「バグ修正」にフォーカスしていて、日常的な開発タスクは、あまりカバーされていませんでした。
そもそも実際の開発は、バグ修正だけじゃ済みません。インフラの整備やセキュリティ対応、機械学習モデルの構築、UI/UXの改善など、シナリオは多岐にわたります。プロジェクトによって使う言語もまちまちです。そうした現場のリアルを無視して、「このLLMはコーディングに強い」と判断してしまうと、導入してから「思ってたのと違う…」となりかねません。
そこで本記事ではより幅広い視点からLLMを評価しようとしている事例を取り上げます。GitHubから集めた2000件の実際のケースをもとに、8つの実務タスク、10の言語、8つの開発シナリオという多角的な切り口で、LLMがどこまで現場で使えるのかを詳しく検証しています。
