推論能力をさらに強化するための新しい戦略『AoT（Algorithm of Thoughts）』が登場しました。この手法によって、大規模言語モデル（LLM）が「直感」に似た能力を示すようになったとの実験結果が報告されています。この発表は、マイクロソフトの研究者をはじめとする専門家によって行われました。

この研究は、推論タスクにおけるLLMの新たな可能性を広げるものであり、計算負荷の高さや効率の低さといった従来の課題を解決する方向性を示しています。

参照論文情報

• タイトル：Algorithm of Thoughts: Enhancing Exploration of Ideas in Large Language Models
• 著者：Bilgehan Sel, Ahmad Al-Tawaha, Vanshaj Khattar, Lu Wang, Ruoxi Jia and Ming Jin
• 所属：Virginia Tech, Microsoft
• URL：https://doi.org/10.48550/arXiv.2308.10379

関連研究

• GPT-4に選択肢を与えるとき、順序を入れ替えるだけで性能に大きな変化があることが明らかに
• タスクに応じてロールプレイさせるとChatGPTなどLLMの推論能力は普遍的に向上する
• メタ認知をさせてLLMの能力を上げる手法「メタ認知プロンプティング」

LLMの推論能力とその課題

計算負荷と効率性の問題

大規模言語モデル（LLM）は、問題解決、コード生成、指示に従うタスクなどで非常に有用ですが、その推論能力にはまだ改善の余地があります。特に、深い思考探索を必要とするような複雑なタスクにおいては、多くのクエリと高い計算負荷が必要です。これは、企業や研究機関がLLMを効率的に運用する障壁となっています。

既存の手法：CoTとToT

この課題に対処するために、研究者たちはいくつかの手法を開発してきました。その中でも「Chain-of-Thought（CoT）」と「Tree of Thoughts（ToT）」が主流です。

Chain-of-Thought（CoT）:

• CoTは、問題をより小さなサブタスクに分解し、それぞれを解決することで全体の問題を解決します。
• CoTは、LLMが与えられた問題に対して、連鎖的な中間の推論ステップを通じて答えに到達するように設計されています。
• この手法は、深い計画や複雑な推論を必要とするタスクには限界があります。

Tree of Thoughts（ToT）:

• ToTは、一つのLLMをアイデア生成用、もう一つを評価用として使用します。
• この手法は、複数のアイデアや解決策を同時に生成し、それらを評価することで最適な答えを見つけ出します。
• ToTは効果的な手法ですが、多くのクエリが必要であり、それがコストと計算負荷の増加につながります。
• この手法は、複数の解決策が存在する可能性が高い問題に特に有用です。

AoTの登場とその影響

これらの課題を解決するために、研究者たちは「Algorithm of Thoughts（AoT）」という新しい手法を開発しました。AoTは、既存の手法に比べてクエリ数を大幅に削減しながらも、同等またはそれ以上の推論性能を発揮することができます。これにより、想定以上の結果が得られています。

AoTの特徴：高度な推論能力と効率性の両立

クエリと計算の効率化

AoT（Algorithm of Thoughts）の最も注目すべき特徴の一つは、少ないクエリと計算で高度な推論を可能にする点です。これは特に企業や研究機関にとって有用であり、高い計算負荷やコストがかかる問題に対しても効率的に対処できます。

既存の手法では、複雑な問題に対して多くのクエリが必要でした。これが高い運用コストや時間を要していました。AoTはこの問題を解決します。

既存アルゴリズムの応用

AoTは、既存の探索アルゴリズムを巧妙に応用しています。具体的には、深さ優先探索（DFS）や幅優先探索（BFS）のようなアルゴリズムを模倣し、それを基に新しい探索戦略を構築しています。

これにより、AoTは問題解決において非常に柔軟なアプローチを取ることができます。例えば、DFSを用いることで、一つ一つの問題に深く焦点を当てることができます。一方で、BFSを用いることで、広範な選択肢を迅速に評価することができます。

方法論：AoTによる効率的な問題解決のフレームワーク

問題の分解：サブ問題へのアプローチ