本記事では、LLMの性能向上テクニック「Chain of Thought（CoT）」が逆効果になるケースについての研究を紹介します。 これまでCoTは多くの課題でLLMの性能を向上させる手法として知られてきましたが、人間の認知研究から「考えすぎると失敗するケース」があることにヒントを得た研究者たちが、LLMでも同様の現象が起きるのではないかと考えて検証を行いました。 「ステップバイステップで考えて」があまり意味がないタスクもあるという話は以前にもありましたが、本件では逆効果まで確認されています。 本記事の関連研究 計画のステップが増えるほど、LLMは最初の目標を見失っていく傾向がある CoTの…