Googleなどの研究者により、表形式（.csvなど）のデータを通してLLMが「連鎖的な推論」を行うためのフレームワークが考案されました。
本フレームワーク『DynamicPlan』では、ユーザーがプロンプトによってLLMに表データを段階的に更新させ、表データに基づいた回答を引き出します。
実験では、複数のベンチマークで最高スコアを達成したと報告されています。
“Chain-of-Table: Evolving Tables in the Reasoning Chain for Table Understanding”より
■背景
– 日常やビジネスにおいて表データの理解はかなり重要
– 既存のプロンプトエンジニアリング手法では、LLMが表データを十分に解釈することは難しい
■提案手法の大まかな説明
1. LLMが表を操作する
2. 前回の操作を参考にして、次の操作を行う
3. 1~2を繰り返す中で推論チェーンが構築される
■プロンプトフレームワーク「DynamicPlan」
– 質問の共有と、必要なデータを選択させる
– 適宜、データの追加、選択、並べ替えをさせる
– 最終的に質問に答えさせる
■実験と結果
– PaLM-2、GPT-3.5、LLaMA 2を使用した
– 表データ推論のベンチマーク3種類で評価した
– 最高のスコアを達成した
研究者らは、本メソッドがLLMの推論能力を強化することにも繋がると示唆しています。
