GPT-4のコード生成能力を飛躍的に向上させるプロンプトフレームワーク『AlphaCodium』

研究者らは、LLM（大規模言語モデル）を使ってより良いコードを生成するための「AlphaCodium」という新しい方法を提案しています。

実験によると、AlphaCodiumを使うと、コード生成の精度が顕著に向上するとのことです。たとえば、GPT-4が生成するコードの正確さが19%から44%まで向上するケースもありました。

研究背景

最近ではLLMの台頭により「コード生成」に注目が集まっています。コード生成とは、プログラム（コンピュータに指示を出す言語）を自動で作ることです。

LLMによるコード生成のレベルを上げるためには、標準的なプロンプトテクニックは（例えばCoTなども）十分でないと考えられています。

プログラムは、英語や日本語のように「ちょっとした間違い」が許されず、「普通にうまくいく場合」や「ちょっと変わったケース」を見分けなければいけません。また、仕様（プログラムがどう動くべきかのルール）の細かい部分にも気を付ける必要があります。

そこで研究者らは、コード生成の性能を向上させることに特化したプロンプト手法「AlphaCodium」を考案しました。コードを生成するための段階的な流れや手順を作ってLLMを導くアプローチです。

下記は方法論、実験結果などを紹介します。

AlphaCodiumの方法論