推論型モデルの思考プロセスを分析する分野『思考学(Thoughtology)』が誕生したとの知らせです。
DeepSeek-R1に始まり、o1、Claude 3.7 Sonnet、Gemini 2.5など、思考プロセスが開示されるタイプのモデルが増えてきました。
とくにDeepSeek-R1は公開内容が多く、モデルの推論を詳しく調べることができます。
長く深い推論を行うメリットは沢山ありますが、現状では非合理的な効果もあります。
今のところ分かっているのは、考えすぎるとパフォーマンスが落ちることもあること、同じことをぐるぐる考え続ける現象があること、考える量を自分でコントロールしきれていないことです。
本論文も膨大な量となっており、142ページにおよびます。