LLMはなぜ「コンテキストから新しいことを学ぶような振る舞いを見せられる」のか？
モデルは単語をそのままバラバラに覚えるのではなく、意味が近い言葉を近くに置く「地図」のような空間に変換して記憶しています。
専門家チームいわく、コンテキスト内学習とはこの地図を使った 「一番ありそうな答え探し」であり、地図が賢くできているほど少ない手がかりでも正確に答えを絞り込めるとのことです。
彼らが数学的に示したのは、予測の難しさはコンテキスト中の単語の種類ではなく「地図の広さ」で決まるということです。単語が何万種類あっても、地図がコンパクトなら必要な手がかりの量はそれに応じた分で済みます。
実務におけるコンテキスト設計にも示唆をくれています。単純に情報量を減らすよりも、モデルが地図上で近くに置けるような意味的にまとまった情報を渡すほうが重要かもしれません。
