CoTの汎用性を高めるプロンプトフレームワーク『Meta-CoT』がイエール大学などの研究者らにより考案されました。
さまざまなタスクに対するLLMのパフォーマンスを高めることが検証されています。
○ Anni Zou et al., “Meta-CoT: Generalizable Chain-of-Thought Prompting in Mixed-task Scenarios with Large Language Models”
LLMは「Chain-of-Thought（CoT）」プロンプトを用いて複雑な推論を行うことができると言われています。
しかし既存のCoTメソッドは、タスクに応じてパフォーマンスがばらつくことが知られています。
そこで研究者らは、多様なタスク（質問）に汎用性を持つフレームワークを作成しました。
■『Meta-CoT』フレームワークの概要
① 「シナリオ識別」、「デモンストレーション選択」、「答えの導出」の3つのフェーズからなる
② シナリオ識別では、質問のカテゴリと形式に基づいて質問を分類
③ デモンストレーション選択では、識別されたシナリオに基づいてICL（In-Context Learning）デモンストレーションを取得
■実験方法
① 10の公開ベンチマーク推論タスクでのパフォーマンスを評価
② 5つの外部データセットでの安定性と汎用性を検証
■実験の結果
① SVAMPでの最優秀パフォーマンス（93.7%）を達成
② カテゴリと形式に基づく質問の分類は高い精度（99%）を達成
■主な結論
① Meta-CoTは高いパフォーマンスと優れた汎用性を同時に達成
② 実世界の混合タスクシナリオで効果的
③ コードは公開されている
■プロンプト例
ユーザー：
[質問]この質問は何のシナリオに該当しますか？
このシナリオに最適なデモンストレーションは何ですか？
デモンストレーションに基づいて、最終的な答えを導き出してください。
□注意点を考察
① 入力データの質が低いと、結果も不正確になる恐れがある
② 高い一般性を求めると、特定のタスクでのパフォーマンスが低下する恐れがある
