本記事では、プログラム合成の最新手法を紹介します。プログラム合成は1940年代から続く研究課題で、最近はLLMを活用したアプローチが主流となっています。これまでに考案されてきた手法では計算コストの増大や品質管理の課題が指摘されていましたが、今回、複数のLLMエージェントを協調させる新しい手法によって課題を克服する道筋が見えてきました。

背景

プログラム合成は1940年代から続く長年の研究課題で、人工知能技術の発展により実用化への期待が高まっています。現在はLLMを用いた手法が注目を集めています。

基本的なプログラム合成では、自然言語による問題記述とユニットテストが与えられ、それらの要件を満たすプログラムを生成することが求められます。MBPPやHumanEvalといったベンチマークが整備され、多くの研究機関で評価に使用されています。

LLMを用いたプログラム合成では、モデルの規模を大きくすることで性能向上が図られてきましたが、計算コストが膨大になる課題があります。しかし最近では、複数のLLMエージェントを組み合わせて協調動作させる「エージェンティックワークフロー」というアプローチが登場し、追加学習なしで性能向上を実現できる可能性が示されています。

既存のプログラム合成手法には3つの問題があります。1つ目は、生成されたコードが与えられたテストに従うことを暗黙的に仮定している点です。2つ目は、生成されたテストの品質がボトルネックとなっている点です。3つ目は、自己デバッグの過程で誤った方向に進んでしまう可能性がある点です。

アイオワ州立大学やAWSなどの研究者らはこれらの問題に取り組むため、LLMによる品質チェック機能を備えた新しいエージェンティックワークフローの開発に取り組みました。品質チェッカーがワークフローを制御し、正しいプログラムを選別しながら段階的に改善を進める手法です。

以下で詳しく紹介します。