LLMが複雑な推論や問題解決にも使えると期待される一方で、自然言語には曖昧さやノイズが多く、正確に評価するのが難しいとされています。
そこで今回オックスフォード大学などの研究者らは、同じ課題をコードとして提示し、手順を一つずつ正しく実行できるかどうかを大規模に検証する方法を考案しました。

本記事の内容は、今後LLMに仕事をさせるときのヒントになるかもしれません。もしLLMが自然言語の課題をコードに変えた形でうまく処理できるなら、一般的なタスクであってもコード化した上で与えるといった選択肢が生まれるためです。

背景

LLMの進化はめざましく、単純なテキスト生成の枠を超えて、より高度な思考プロセスの実現が期待されています。そのため、研究者たちの関心は、LLMがどこまで複雑な推論や問題解決を達成できるのかという点に向けられています。

一般に、多くの推論タスクや計画立案の課題には、明確な手順やアルゴリズムが存在します。しかしながら、そうした課題を自然言語で表現しようとすると、細部まで丁寧に作り込む必要が生じ、多大な労力を要します。

そうした状況を打開すべく、新たなアプローチが注目を集めています。それは、自然言語による推論タスクをプログラムコードに置き換えることで、必要なデータを効率的かつ大規模に収集する手法です。

プログラムコード上でアルゴリズムや変数の変化を追跡できれば、LLMが正確に手順を実行しているかどうかの検証が容易になります。とりわけ、自然言語特有の曖昧さやノイズを排除した、より厳密な評価基準の確立が期待されています。

さらに、LLMが単なるパターン認識や記憶の再生ではなく、実際に段階的な処理を行っているかを確認する上でも、コードによる形式的なタスクは有効と考えられます。

このような背景を踏まえ、オックスフォード大学などの研究チームは自然言語とコードの両方で同等の課題を設計し、以下の2点について検証を行いました。

• LLMが高度な推論を”自然言語だけでなくコードで”でどの程度確実に実行できるのか
• コードベースのベンチマークが自然言語タスクの代替として機能し得るのか

このような技術者であれば多くの方が興味をもつであろう疑問に取り組んだ実験の結果、さまざまな新しい知見が得られました。以下で詳しく紹介します。