ローカルLLMの可能性が出てくる中、どれだけ投資すべきか？

社内のちょっとした翻訳や議事録の要約を、わざわざ大規模なLLMに投げている。月末に請求書を見て「AI利用料が無視できなくなってきた」と思ったことがある方は多いはずです。

実は、手元のノートPCやMac Studioで動く小型モデルの性能が、ここ2年で急激に上がっています。となると、どのクエリをローカルで処理し、どこからクラウドに頼るかという「交通整理」が、コストとエネルギーの両面でますます重要になってきます。

ローカルへの投資判断をどう数字で裏づけるか。本記事では、意思決定に役立つ資料として、100万件の実クエリと複数ハードウェアで検証した大規模ベンチマークの結果を、順を追って見ていきます。