コード生成におけるLLMの性能を左右するプロンプトの「要素」を調べた結果

本記事では、コード生成におけるLLMの性能に影響を与えるプロンプト内の要素を調べた研究を紹介します。

LLMは例示されたコードから新たな問題を解く能力を持ちますが、その性能はどのような情報を与えるかによって大きく変わります。この研究は、変数名やコードの書式など、例として与えるコードの細かな構成要素がモデルに与える影響を系統的に検証しています。
プロンプト設計やベンチマーク作成に携わる実務者にとって、実用的なヒントが得られる内容です。

背景

ソフトウェア開発におけるLLM活用の中でも、コード生成はとくに注目されている分野です。

LLMによるコード生成では、追加の学習やパラメータ更新を行わずとも、入力文に例を組み込むだけで出力を改善できることがテクニックとして知られています。

あらかじめ用意した例をプロンプトに加えることで、モデルは人間の書いたコードのパターンを学び取り、新しい問題にも対応します。

しかし、一つの大きな疑問が残っています。それは「与えた例の中のどの要素が性能向上に貢献しているのか」という点です。たとえば、変数名や関数名の付け方など、いくつもの要素がありますが、それぞれがどの程度モデルの理解に影響を与えているのかは、はっきりしていません。

こうした細かな要素の影響を理解することができれば、より効果的なコード例の作り方が見えてきます。そこで本記事では、例の変化がモデルの出力にどう影響するかを調べるという実験の結果を取り上げます。