ローカルLLMのハード選びは、速度と容量と電力で別々の勝者が立つ　NVIDIA？Apple？

ここ1〜2年で、自分の手元のパソコンでAIを動かそうという流れが、急に現実味を帯びてきました。プライバシーの心配がない、月々の費用がかからない、ネットがなくても動く、自分の業務データで自由に試せる。理由はいろいろありますが、何より大きいのは、性能の良い「オープンなモデル」が次々に公開されたことです。

中でも、700億から800億パラメータ級の本格派モデルを、自宅のワークステーションで動かしたい、という声が出てきています。「パラメータ」というのはモデルの重み付けのことで、雑に言えば賢さの目安です。多いほど複雑な質問に応えられる傾向があります。

ただ、一筋縄ではいきません。「いちばん高いグラフィックボードを買えば話が済む」時代は、もう終わりつつあります。

最近、いまのコンシューマ向けGPUとAppleのチップを横並びで測定し、80B級のモデルまでスケールさせて何が起きるかを丁寧に調べたデータが揃ってきました。本記事ではその内容を読み解きながら、自宅でAIを動かす世界の現在地を一緒に整理していきます。