LLMによるバグ全自動修正に成功するケースと失敗するケースの違い

本記事では、LLMによるバグ修正に関する最新の研究を紹介します。

LLMやLLMエージェントシステムは、プログラムのバグを自動的に発見・修正する能力に長けています。一方で、まだ課題もあります。

今回、7つの最先端システムの詳細な分析から、LLMによるバグ修正の現状と課題が明らかにされました。

背景

LLMやLLMエージェントシステムが、プログラムのバグを自動的に修正する分野で注目を集めています。
LLMは言語を理解する能力が高いため、プログラムのソースコードや、ユーザーが報告したバグの説明文、コード内のコメントなどを効率よく理解・分析できます。さらに、エージェントシステムになるとパソコンの操作画面（ターミナル）を通じて、必要な情報を集めたり、コードを書き換えたり、動作を確認したりすることができます。こうしてバグの自動修正が以前よりもずっと現実的なものとなってきました。

さまざまな企業や大学の研究者たちが、コードの中からバグを見つけて直すLLMベースのエージェントシステムを開発しています。そして、性能を評価するために、「SWE-bench」という評価用のデータセットも作られました。SWE-benchは実際のプログラムから集めた本物のバグが収録されており、システムが提案した修正案が正しいかどうかをテストで確認できます。SWE-benchは現在、バグの自動修正技術を評価する上で最も重要な基準となっており、企業や研究者が定期的に性能を競い合っています。

こうした状況にもかかわらず、これまでバグの自動修正におけるLLMエージェントの性能や、異なるシステム間の性能の違いが体系的に調べられたことはありませんでした。実際には様々な要因によって自動修正しやすい場合と難しい場合があります。

そのため今回LLMベースのエージェントがどのようなバグを修正できて、どのようなバグを修正できないのかが詳しく分析されることになりました。

SWE-benchとSWE-bench Liteとは