LLM内に論理思考と記憶を切り替えるスイッチ発見

LLMの内部に「論理思考モード」と「記憶モード」のスイッチのようなものを発見したとの報告。
人間で例えると、「じっくり考える」「思い出す」といった状態にあたります。

今回研究者らはスイッチを操作することもできるようになりました。
スイッチを入れるとそれぞれのモードを強制的に発動できるとのこと。
また、中間的な状態にもできるようです。

論理思考モードをオンにすると計算や問題解決の能力が向上し、記憶モードでは事実性が向上します。

LLMはこの論理思考や記憶のスキルを初期訓練時に獲得していると示唆されています。

なお、本稿での論理思考はReasoningについて言及しています。Reasoningはよく推論と訳されがちですが、Inferenceと混同する恐れがあるためここでは論理思考と訳しています。

今回の発見の特殊なところは、Reasoning特化モデルとして開発されたわけではないLLaMA3やGemma2、MistralやOLMo2などを対象に研究されているところです。