現在のLLMにおいて、皆が推論と呼んでいるものは、記憶とパターンに基づく生成のため、厳密には論理に基づくものではないと主張する論文が投稿されています。
そのため、出力結果をチェックする外部モジュールが本質的に重要とのことです。
“Can Large Language Models Reason and Plan?”より
■LLMの原理にもとづく長所短所
– プロンプトの単語ごとに確率的に補完を再構築する仕組みで動いている
– そのためLLMの長所は創造性であり、短所は幻覚（不正確性）
– 長所と短所は表裏一体
■短所（「不正確性」）を補うアプローチ
– LLMの出力を検証するモデルを別で備える
– あるいは（普通の方法だが）人間が介在する
■LLMが自己改善する方法論についての警鐘
– 一部の論文では自己改善が強く支持されている
– しかしこれはLLMが「回答をチェックする能力に長けている」というバイアスに基づいている
■長所（創造性）を活かすアプローチ
– LLMは、あるタスクにおける「アイデア生成」に本質的に長けている
– この長所を、フレームワークの中で活かすことで、最終的に推論や計画を達成するのがよい
