LLMが「自然言語で記述されたアルゴリズムを実行する」能力で非常に高い性能を示す

   
★AIDB会員限定Discordを開設いたしました! ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします!↓

今回研究者らは、自然言語で記述されたアルゴリズムの理解におけるLLMの能力を調査しました。

そしてアルゴリズムの教科書『アルゴリズムイントロダクション』から30の代表的なアルゴリズムを使用した実験により、GPT-3.5、GPT-4などの代表的なLLMの性能を検証しました。

結果、LLM、特にGPT-4は、重い数値計算が含まれていない限り、自然言語で記述されたプログラムを効果的に実行できることが示されています。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:Executing Natural Language-Described Algorithms with Large Language Models: An Investigation
  • 機関:Chinese Academy of Sciences
  • 著者:Xin Zheng, Qiming Zhu, Hongyu Lin, Yaojie Lu, Xianpei Han, Le Sun

背景

コンピュータサイエンスの世界では、自然言語で記述されたプログラムを理解し実行できるシステムが必要とされており、高性能なツールの登場が待たれています。そのため、最近ではLLMのコード実行能力が期待されていますが、評価ベンチマークが不足しているため、現在の性能はあまりわかっていません。

この問題に取り組むため、研究者らは以下のように研究を行いました。

  1. 自然言語で記述されたプログラムの読み手としてのLLMの能力を体系的に評価するため、アルゴリズムのテストセットを確立する
  2. アルゴリズムを自然言語のプロンプトに変換する
  3. 最新のLLMを使用してアルゴリズムのテストを行い、自然言語プログラムのインタプリタとしての能力を体系的に評価する

なお、実験に使用したタスクは、『アルゴリズムイントロダクション』から使用されています。のちに説明するとおり、研究者らはリーク(モデルが答えを暗記しているケース)の可能性は低いと考えています。

以下で、実験内容と結果を詳しく紹介します。

本記事を読むにはAIDBのアカウントが必要です。
アカウントの作成は無料ですが、記事の閲覧は有料の場合があります。



※ログイン/初回登録後、下記ボタンを押してください。







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP