LLMの思考量最適化：過剰と過小の間

LLMは「考えれば考えるほど良い答えが出せる」と思われがちですが、実はそうではないとのこと。

問題を解く際には適切な「考える量」があり、それなのに簡単な問題に対して必要以上に長々と考えすぎることが多いようです。
反対に、難しい問題に対して十分に考え抜くことができていない場合もよくあるとのことです。

要するに考えすぎたり短絡的だったりしているのです。

面白いことに、「短く答えて」と指示すると正確さをあまり損なわずに出力を簡潔にできるケースが多いとのこと。
そもそも回答が極端に長いときは不正解である傾向にあるので、短く答えさせるのは効率的のようです。

問題の難しさに合わせて「どれだけ考えるか」を調整する仕組みを作ることが求められています。