LLMコーディングエージェントの「得意言語」と「苦手言語」　300件検証で見えた、数字の裏にある理由

GeminiはPythonで成功率100%、しかしJavaでは28%。一方ClaudeはJavaで80%と独り勝ち。LLMコーディングエージェントには、公式ドキュメントに書かれていない「得意言語」があることが300件の検証で判明しました。

本記事では、3つのエージェントに同じプロンプトを与え、生成されたコードをまっさらな環境で実行するという検証事例を取り上げます。300件のプロジェクトを対象に、成功・失敗を記録し、失敗したものは原因を一つひとつ分類しています。

冒頭で触れた得意言語の差は、この検証で明らかになった発見の一つです。しかし、それだけではありません。

たとえば、動かなかったプロジェクトの失敗原因。依存関係の記載漏れが主因だと思われるかもしれませんが、実際にはそれは1割程度でした。では過半数を占めた原因は何だったのか。

あるいは、動いたプロジェクトに潜む問題。LLMが「このコードは3つのパッケージで動きます」と申告したものが、実際には30以上のパッケージを必要としていたケースもありました。

以下で詳しく見ていきましょう。