
最近のLLMは、ものすごく長い文章を一度に読み込めるようになりました。何万語というテキストを丸ごと受け取って、その中から必要な情報をパッと探し出す。そんな芸当が、もう当たり前にできるようになってきています。
ところが、ここに一つ、見落とされがちな落とし穴があります。同じ長さの文章でも、中身の「詰まり具合」によって、LLMの読み取りやすさがガラッと変わってしまう。今日ご紹介するのは、その「詰まり具合」、専門的には「語彙密度」と呼ばれるものに、正面から取り組んだ事例です。
それでは、さっそく中身を見ていきましょう。