LLMにプロンプトを与える際、「推論ステップの流れに沿う順序」で文脈を与えないと30%以上精度が落ちる恐れがあることをDeepMindが報告しています。
GPT-3.5、GPT-4、Gemini Proなど様々なLLMで共通して言える特徴的傾向だそうです。
“Premise Order Matters in Reasoning with Large Language Models”
■「推論の流れ」とは
– LLMに論理的な思考を行わせる際には、ユーザーがプロンプトで推論に中間地点を与える必要がある
（よく知られている言葉は「ステップバイステップで考えましょう」）
– たとえば、AということはB、BということはC、といった流れで推論が進む
■今回の発見
– 上記の推論ステップの流れに沿う順番で、プロンプトの内容を組むことが推奨される
– 反対だったりバラバラの順序だと30%以上も精度が下がる
■実験の概要
– GPT-3.5、GPT-4、Gemini Pro、PaLM 2-Lなどを使用
– 論理推論タスクと数学的推論タスクで、プロンプトに配置する「推論の前提となる文章」の順序をいろいろなパターンで試した
→順序通り以外は精度が下がる結果に。
