LLMの予測は直前100トークンで十分

ブリティッシュコロンビア大学とGoogle DeepMindの研究者らは「LLMは文章を生成するとき、実は”すぐ前の数十トークン”で足りることがほとんど」という発見を報告しています。

最近のLLMはスペック的には何千文字も記憶できますが、実験によると、次の言葉を考える際には、多くが最後の32〜96 トークンで足りるとのことです。

興味深いことに、この傾向は英語だけでなく、8つの言語で共通して観察されました。また、一般的な文章だけでなく、生物医学論文の抄録、数学の文書、プログラミングコードでも同様のパターンが確認されています。

このことから、短いコンテキストで次の文を予測できるという特性は、自然言語そのものに備わった普遍的な性質だと予想されています。

論文タイトルは「Short-Context Dominance: How Much Local Context Natural Language Actually Needs?（短文が支配的。自然言語は実際にはどの程度のローカルコンテキストが必要？）」。