計画のステップが増えるほど、LLMは最初の目標を見失っていく傾向がある

本記事では、LLMを活用したエージェントの計画立案能力に関する最新の研究結果を紹介します。人工知能の分野で長年の目標とされてきた”自律的な計画立案能力”について、現状のLLMエージェントがどこまで達成できているのか、そしてなぜ人間レベルの能力にはまだ及ばないのかを探る研究です。

背景

人工知能の分野において、”自律的に計画を立てる能力”を獲得することは長年の目標でした。”自律的に計画を立てる能力”とはすなわち、ゴールを達成するために必要な行動の順序を決定する能力のことです。

この目標に向けて、これまでは特定のタスクに特化したシステムを作ることに焦点が当てられてきました。その結果、ある分野では正確な解決策を提供できるものの、汎用性に欠けたシステムが出来上がってきました。

そんな中、LLMの登場で状況が変わってきました。LLMエージェントは従来と比較にならないほど様々な計画タスクに対応できる可能性があるのです。

ただし、それでも人間レベルの計画能力にはまだ及びません。例えば、最新のモデルでも、複雑な現実世界の計画ベンチマークで15.6%の成功率しか達成できていません。

今回研究者らは、現在のLLMエージェントがなぜ計画タスクで苦戦しているのかを明らかにしようとしています。また、エージェントの計画能力を向上させるための戦略を提案しています。
そこで、計画の2つの重要な要素である「制約」と「質問」に注目しました。

以下で研究内容とその結果を詳しく紹介します。