GPT-4などLLMのコード生成能力にデバッグ機能を追加する『SELF-DEBUGGING（セルフデバッギング）』フレームワークが考案されました。

追加訓練なしで、複数のベンチマークで優秀なパフォーマンスを達成しています。
実行プロンプト例は比較的シンプルです。

DeepMindとUCバークレーの研究者らによる発表です。
@ Xinyun Chen et al, “Teaching Large Language Models to Self-Debug”

LLMはコード生成においても優れた性能を示していますが、複雑なプログラミングタスクで一度に正確な解を生成するのは困難とも言われています。
既存の研究はモデルの追加訓練を必要とするものが多くコストがかかります。

そんな中、研究者らはLLMが自ら生成したプログラムをデバッグする能力を教えるフレームワークを考案しました。

本稿は論文の簡単な紹介記事です。

フレームワークの方法論

SELF-DEBUGGINGは以下3つのステップで構成されます。