今回研究者らは、自然言語で記述されたアルゴリズムの理解におけるLLMの能力を調査しました。

そしてアルゴリズムの教科書『アルゴリズムイントロダクション』から30の代表的なアルゴリズムを使用した実験により、GPT-3.5、GPT-4などの代表的なLLMの性能を検証しました。

結果、LLM、特にGPT-4は、重い数値計算が含まれていない限り、自然言語で記述されたプログラムを効果的に実行できることが示されています。

背景

コンピュータサイエンスの世界では、自然言語で記述されたプログラムを理解し実行できるシステムが必要とされており、高性能なツールの登場が待たれています。そのため、最近ではLLMのコード実行能力が期待されていますが、評価ベンチマークが不足しているため、現在の性能はあまりわかっていません。

この問題に取り組むため、研究者らは以下のように研究を行いました。

1. 自然言語で記述されたプログラムの読み手としてのLLMの能力を体系的に評価するため、アルゴリズムのテストセットを確立する
2. アルゴリズムを自然言語のプロンプトに変換する
3. 最新のLLMを使用してアルゴリズムのテストを行い、自然言語プログラムのインタプリタとしての能力を体系的に評価する

なお、実験に使用したタスクは、『アルゴリズムイントロダクション』から使用されています。のちに説明するとおり、研究者らはリーク（モデルが答えを暗記しているケース）の可能性は低いと考えています。

以下で、実験内容と結果を詳しく紹介します。