LLMの能力密度が3ヶ月弱で2倍に向上

LLMにおいて同じ性能を出すのに必要なサイズが、約3ヶ月半ごとに半分になっている傾向を示す『密度化の法則』が「Nature Machine Intelligence」誌で発表されました。

同じ価格のチップで動かせるLLMの実質的な能力（能力密度）が、3ヶ月弱ごとに2倍になっている計算になります。

LLMの利用コストが急速に下がっていることを意味するため、ユーザーにとって非常に良いニュースです。

この効率化は単にモデルを小さくする技術だけで実現されているわけではなく、主に訓練データの量と質が改善されることで起きていると述べられています。

背景には、業界への投資が急増し、多くの高品質なオープンソースモデルが公開されるようになったことがあります。

この傾向がハードウェアの進化と組み合わさることで、スマートフォンのような小型デバイスで、高性能なLLMを動かせる未来が急速に近づいています。

なお、原題のdensing lawを密度化の法則と和訳しました。また、本論文は査読前にもarXivで公開されていました。