次回の更新記事:LLM同士だけで伝わる効率的なコミュニケーションをさ…(公開予定日:2024年12月16日)

LLMによるバグ全自動修正に成功するケースと失敗するケースの違い

   

本記事では、LLMによるバグ修正に関する最新の研究を紹介します。

LLMやLLMエージェントシステムは、プログラムのバグを自動的に発見・修正する能力に長けています。一方で、まだ課題もあります。

今回、ByteDance社が開発したMarsCode Agentを始めとした7つの最先端システムの詳細な分析から、LLMによるバグ修正の現状と課題が明らかにされました。

【告知】AIDB HRの人材側登録者全員に対し、業界研究の手間を削減できるように「AI事業を行う企業リスト」を配布します。無料登録後すぐに閲覧とダウンロードが可能です。▼



参照論文情報

  • タイトル:An Empirical Study on LLM-based Agents for Automated Bug Fixing
  • 著者:Xiangxin Meng, Zexiong Ma, Pengfei Gao, Chao Peng
  • 所属:ByteDance

背景

LLMやLLMエージェントシステムが、プログラムのバグを自動的に修正する分野で注目を集めています。
LLMは言語を理解する能力が高いため、プログラムのソースコードや、ユーザーが報告したバグの説明文、コード内のコメントなどを効率よく理解・分析できます。さらに、エージェントシステムになるとパソコンの操作画面(ターミナル)を通じて、必要な情報を集めたり、コードを書き換えたり、動作を確認したりすることができます。こうしてバグの自動修正が以前よりもずっと現実的なものとなってきました。

さまざまな企業や大学の研究者たちが、コードの中からバグを見つけて直すLLMベースのエージェントシステムを開発しています。そして、性能を評価するために、「SWE-bench」という評価用のデータセットも作られました。SWE-benchは実際のプログラムから集めた本物のバグが収録されており、システムが提案した修正案が正しいかどうかをテストで確認できます。SWE-benchは現在、バグの自動修正技術を評価する上で最も重要な基準となっており、企業や研究者が定期的に性能を競い合っています。

こうした状況にもかかわらず、これまでバグの自動修正におけるLLMエージェントの性能や、異なるシステム間の性能の違いが体系的に調べられたことはありませんでした。実際には様々な要因によって自動修正しやすい場合と難しい場合があります。

そのため今回ByteDanceの研究者らによりLLMベースのエージェントがどのようなバグを修正できて、どのようなバグを修正できないのかが詳しく分析されることになりました。

SWE-benchとSWE-bench Liteとは

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について


■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






PAGE TOP