LLMの連鎖的な思考を促す『CoT』プロンプトにおいて、推論ステップ数と効果（影響）の関係を綿密に調べた結果が報告されています。
実験では、「ステップバイステップで考え、さらに、もっと多くのステップで考えてください」といったプロンプトで推論精度が顕著に向上したことが示されています。
“The Impact of Reasoning Step Length on Large Language Models”より
■研究者らが知りたかったこと
推論ステップ数を増減させると推論プロセスはどう変化するのか
■実験結果
– 推論ステップ数とLLMの推論能力は比例する傾向があった
– ステップ数の増減の影響はタスクの種類によって異なる
– 簡単なタスクでステップ数を増やす必要はない
※実験で使用されたモデル：
GPT-4／GPT-3.5／text-davinci-002
■推論ステップ数を増やしたいときの手法
– Think About The Word
– Read the Question Again
– Repeat State
– Self-Verification
– Make Equation
なお、“Let’s think step by step, you must think more steps.”（「ステップバイステップで考え、さらに、もっと多くのステップで考えてください」）といったプロンプトは、数学の問題を含む場合により効果的とのことです。
