LLMにおける「計画立案能力」を高めるプロンプト手法の新提案

本記事では、LLMの自律的な計画立案能力を向上させる新手法を紹介します。LLMは推論などで高い性能を示しているものの、計画立案タスクでは人間のパフォーマンスに及ばないことが課題です。

今回研究チームは、外部の検証ツールに頼ることなく、LLMが人間レベルの計画を生成できるようにするためのプロンプト手法を開発しました。

背景

最先端のLLMであっても、標準的な計画立案タスクでは人間のパフォーマンスにまだ及ばない状況です。

LLMにおける長期的な計画立案においては、外部からのフィードバックを活用したり、制御された環境で実験を行なったりする手法が提案されていましたが、これらの手法には多大な計算リソースと開発時間が必要とされています。

なぜLLMは計画立案で苦戦するのでしょうか？

その理由として、自身の出力を検証することが難しい点が挙げられます。たとえば、計画の目標が達成されたかどうかを判断することや、帰納的推論を行うことに課題が残されています。

そのような状況の中、今回研究者らはLLMの自律的な計画立案能力を向上させる新しい手法の開発に取り組みました。外部の検証ツールに頼ることなく、LLMが人間レベルの計画を生成できるようにすることを目指して研究が進められました。

以下で詳しく紹介します。

計画問題のためのプロンプト設計手法

LLMに適切な計画を立てさせるにはどのような指示の仕方が有効なのかが研究されました。

以下のように効果的なプロンプト（指示文）の設計手法が提案されています。

計画問題とはなにか

計画問題とは、将来の結果を見越して戦略的に考える必要がある課題です。単純に目の前の手順をこなすだけでは不十分で、複数のステップを組み合わせ、目標に向けて適切な道筋を立てることが求められます。

重要なのは柔軟性です。計画通りに進まない場合や行き詰まった場合には、別の方法を試したり、新たな手順を考え直したりする必要があります。短期的な視点にとどまらず、全体を見渡す広い視野と調整力が求められるのです。

Chain-of-Thoughtの限界

Chain-of-Thought（思考の連鎖）は、LLMの推論能力を引き出すために広く使われてきました。「ステップバイステップで考えて」と一言添えたり、または推論ステップそのものを明示する方法が使用されています。

しかし、計画問題においてはいくつかの課題が明らかになっています。

たとえば、Chain-of-Thoughtは一直線的な思考を促すため、複数の可能性を探索したり、行き詰まった際に引き返したりする柔軟性に欠けることが指摘されています。

そして、推論の過程で早い段階でミスをした場合、それを認識して修正することが難しいという問題があります。

また、提供された例の構造に依存しすぎてしまい、新しい問題に対して柔軟に対応できない傾向が見られます。

そこで登場したのがAlgorithm-of-Thoughts

Chain-of-Thoughtの限界を克服するために、新しいプロンプト設計手法Algorithm-of-Thoughts（AoT）が開発されました。

問題解決の過程をより詳細に記述し、行き詰まった場合の対処方法も含めた指示を与えることで、より柔軟な計画立案を可能にすることを目的としています。

AoTの主な特徴は以下のとおりです。

• 探索過程の明示的な記述
• 行き詰まった際の対処方法の例示
• 人間の直感に基づく探索指針の導入

ただし、プロンプトの作成に時間がかかることや、人間の直感を取り入れることでバイアスが生じる可能性があるなどの課題も残されていました。

AoT+

そこで、AoTプロンプト手法をさらに発展させた「AoT+」が今回考案されました。LLMが計画を立てる際に直面する主要な課題を解決するための新しい工夫が導入されています。

ランダムな解法の導入

従来のAoTでは、人間の直感に基づいた探索方法の例を示す必要がありました。しかしAoT+では、完全にランダムな探索過程と正解への道筋を組み合わせた例示方法が採用されます。

ポイントは以下のとおりです。

• 1つの正解パターンと4つの失敗パターンを用意する
• それらをランダムに組み合わせて例示として使用する
• 最終的に目標を達成する手順は必ず含めながら、途中の探索過程はランダムに生成される

予想に反して、ランダムな例示を用いても性能は低下せず、むしろLLMの柔軟な探索を促進する効果が確認されました。人間の直感に頼らないことで、より汎用的な問題解決能力が引き出されたと考えられます。

メモ化による状態把握の改善

これまで課題に上がってきている「LLMが計画の途中で状態を見失う」という問題に対して、プログラミングにおける「メモ化」の考え方を応用した解決策が提案されています。

メモ化とは、計算結果を記録しておき、同じ計算が必要になった際に再利用する手法です。

AoT+では、以下のプロセスが実行されます。

1. 現在の状態を定期的に記録する
2. 識別子（例：x.y.z形式）を付与して管理する
3. 最初の決定に対するx番目の候補、その後のy番目の操作といった形で、探索の過程が体系的に記録される

本アプローチの導入により、LLMは過去の状態に容易に戻ることができ、より確実な計画立案が可能になりました。

また、外部の状態管理システムが不要になったことで、計算コストの削減にも貢献しています。

実験結果からは、AoT+を使用したLLMが、従来の手法と比較して大幅に正確な計画を立案できるようになったことが示されています。人間のパフォーマンスと同等、あるいはそれを上回る結果も得られており、LLMの自律的な計画立案能力の向上が実証されました。

AoT+ プロンプトテンプレート

論文にはプロンプトの実例が掲載されているため、それらをもとにプロンプトテンプレートを作成しました。以下が基本構造になります。

あなたは[タスクの種類]の問題を解くアシスタントです。以下の方法で問題を解決します。

利用可能な操作：
[操作1の説明]
[操作2の説明]
...

制約条件：
[制約1の説明]
[制約2の説明]
...

状態の表現方法：
[状態をどのように記述するかの規則]
[必要な場合は例を追加]

例示1（直接的な成功パス）:
開始状態：
[状態の説明]

目標状態：
[状態の説明]

探索過程：
1. [最初の操作]
状態 (1.0): [状態の完全な記述]

2. [次の操作]
状態 (1.1): [状態の完全な記述]

...
目標達成

例示2（ランダムな探索を含む）:
開始状態：
[状態の説明]

目標状態：
[状態の説明]

探索過程：
1. [ランダムな操作の試行]
状態 (1.0): [状態の完全な記述]

2. [行き詰まりに遭遇]
状態 (1.1): [状態の完全な記述]
バックトラック...

3. [新しいアプローチ]
状態 (2.0): [状態の完全な記述]

...
目標達成

[例示3-5: さらに3つのランダムな探索例]
- 少なくとも1つは行き詰まりを含む
- すべての例は最終的に目標達成につながる
- 異なる探索パターンを示す

探索時の注意事項：
1. 各操作後に現在の状態を完全に記述する
2. 行き詰まりを検出したら明示的にバックトラックする
3. 状態の記録には一貫した形式を使用する
4. 探索の分岐を識別子（x.y.z形式）で管理する

プロンプトを実際に使用する際は、タスクに応じてカスタマイズする必要があります。また、LLMがより柔軟な探索を行えるようにするために、複数の例示を含めるようにしましょう。

実験による評価

提案手法AoT+の有効性を確認するため、複数の異なるタスクと複数のモデルを用いた実験が実施されました。

実験設定の概要

実験では4つの代表的なタスクが選択されました。

• ブロックワールド（ブロックの積み替え問題）
• ロジスティクス（物流計画問題）
• リスト関数（パターン発見問題）
• ACRE（因果関係推論問題）

です。各タスクは、計画立案や推論能力を評価するためのベンチマークとして広く使用されています。

使用されたLLMは主に以下のとおりです。

• GPT-4
• GPT-4o
• Claude
• Gemini 1.5
• LLaMA 3.1

異なる特性や性能を持っているモデルを複数使用することで、手法の汎用性が確認されました。

主な実験結果

実験結果から、AoT+は全てのタスクにおいて従来手法を上回る性能を示しました。

たとえばブロックワールド問題では、人間の正解率が約78%であるのに対し、AoT+を使用したGPT-4は82%の正解率を達成しています。

注目すべき点として、外部の検証ツールを使用しない純粋なプロンプト設計だけで、外部ツールを使用する従来手法と同等以上の性能が得られたことが挙げられます。

計算効率の評価

AoT+は処理速度の面でも優位性を示しました。

従来手法のLLM-Moduloと比較して、必要なトークン数（処理すべきテキストの量）が3分の1程度に抑えられています。また、APIリクエスト（外部サーバーへの問い合わせ）の回数も大幅に削減されており、実用面での利点が確認されました。

以上の実験結果から、AoT+の主要な利点は以下の2点にまとめられます。

第一に、外部ツールに依存せずに高い性能を実現できること。

第二に、計算資源の使用量を抑えながら、効率的に計画を立案できることです。

まとめ

本記事では、LLMの計画立案能力を向上させる新手法「AoT+」に関する研究を紹介しました。

従来の手法では外部の検証ツールが必要とされていましたが、AoT+では適切なプロンプト設計により、外部ツールなしでLLMが自律的に計画を立案できることが示されました。

今回の研究成果は、LLMの実用的な活用に向けた新たな可能性を提示するものとして注目されています。

理解度クイズ（β版）