GeminiはPythonで成功率100%、しかしJavaでは28%。一方ClaudeはJavaで80%と独り勝ち。LLMコーディングエージェントには、公式ドキュメントに書かれていない「得意言語」があることが300件の検証で判明しました。
本記事では、3つのエージェントに同じプロンプトを与え、生成されたコードをまっさらな環境で実行するという検証事例を取り上げます。300件のプロジェクトを対象に、成功・失敗を記録し、失敗したものは原因を一つひとつ分類しています。
冒頭で触れた得意言語の差は、この検証で明らかになった発見の一つです。しかし、それだけではありません。
たとえば、動かなかったプロジェクトの失敗原因。依存関係の記載漏れが主因だと思われるかもしれませんが、実際にはそれは1割程度でした。では過半数を占めた原因は何だったのか。
あるいは、動いたプロジェクトに潜む問題。LLMが「このコードは3つのパッケージで動きます」と申告したものが、実際には30以上のパッケージを必要としていたケースもありました。
以下で詳しく見ていきましょう。
