本記事では、ローカルLLMの効率に関する大規模な実証研究を紹介します。
現在、ChatGPTやClaudeなどのLLMはクラウド上の巨大モデルに依存しており、インフラの限界が見えはじめています。一方で、小型のローカルモデルやAI専用チップを搭載したデバイスが進化しており、すべてをクラウドに任せる必要はなくなりつつあります。
そこで今回は、「どのくらいローカルで処理できるのか」「効率はどう変化しているのか」「ローカルとクラウドをどう使い分けるべきか」といった問いに焦点を当てます。使われたのは、実際のユーザークエリ100万件以上、20以上のモデル、8種類のハードウェアです。
背景
現在のLLM利用は、ChatGPTやClaudeのようなクラウド上の巨大モデルに集中しています。利用者はインターネット経由でアクセスする形が一般的です。
しかし、こうした集中型には限界が見えてきています。LLMの利用が急増し、毎日数億〜数十億件のリクエストが発生しています。クラウドのインフラ拡張は追いつかず、電力・冷却・専用チップの製造といった面でボトルネックが表れています。
その一方で「ローカルモデル」と呼ばれる小型の言語モデルが進化しており、200億パラメータ以下でも多くの実用タスクで高い精度を示し始めています。また、AI専用チップの進化（AppleのM4 Maxのようなチップ）は、こうしたローカルモデルを手元で快適に動かせるだけの性能を持っています。
モデルの小型化とハードウェアの進化が組み合わされば、すべての処理をクラウドに任せる必要はなくなるかもしれません。一部の問い合わせは手元で処理できるようになれば、クラウドの負荷が分散され、電力消費やコストの削減も期待できます。
そのためには2つの観点で評価する必要があります。1つは、ローカルモデルが実際の問い合わせにどれだけ正確に答えられるか（能力）。もう1つは、限られた電力の中でどれだけ効率よく処理できるか（効率性）です。この両方において大規模な実験でその有用性を検証した事例を取り上げます。
