LLMの「自然言語で記述されたアルゴリズムを実行する」非常に高い性能が確認されたとのこと。
書籍『アルゴリズムイントロダクション』を用いた実験では、GPT-4はほぼ100%の実行を達成し、
一方で、複雑な数値演算にはまだ課題も残ると述べられています。
“Executing Natural Language-Described Algorithms with Large Language Models: An Investigation”より
■背景
コンピュータサイエンスの分野では「プログラムを自然言語で記述する」そしてそれを「理解して実行する」といった形で技術の伝達がされてきました。
研究者らは、LLMによってこの仕組みを強力にサポートできるのではないかと考えました。
■実験内容
– 『アルゴリズムイントロダクション』（MITの教科書で採用されている書籍）から代表的なアルゴリズム30個をピックアップ
– GPT-3.5、GPT-4などの代表的なLLMに対してアルゴリズムを自然言語で記述して入力し、正しく実行できるかを評価
■実験結果
– GPT-4は自然言語で記述されたプログラムを効果的に実行可能
– アルゴリズムの制御フローを正確に追跡し、各ステップを正確に実行し、計算を実行する
– 指示に従って変数の値を一貫して維持および更新することが可能
ただし重い数値計算が含まれていると精度が大幅に落ちるため、今後の課題とされています。
