本記事では、Raspberry Pi 4、Raspberry Pi 5、Orange Pi 5 Proという3種類のシングルボードコンピュータ上で、25種類のLLMがどの程度実用的に動作するのかを検証した事例を紹介します。

これまで、100ドル前後の小型デバイスでLLMを動かすことの理論的な可能性は語られてきました。しかし実際には、どのサイズのモデルがどのハードウェアで実用レベルに達するのか、消費電力やメモリ使用量はどうなるのか、といった具体的なデータが不足していました。

実験の結果、実務に直結する知見が明らかになりました。

背景

LLMの精度や効率が向上する一方で、実際の導入ではいくつかの課題が明らかになっています。多くの企業がクラウドベースのLLMサービスを使っていますが、そこには制約があります。まず、通信の必要があるため応答に時間がかかり、リアルタイム性が求められる場面では不利になります。次に、機密データをクラウドに送信することへの不安が根強くあります。そして最大の問題は、使えば使うほど料金が増える「トークン課金」の仕組みです。

こうした課題から、LLMをクラウドではなく手元のデバイスで動かす「オンデバイス推論」が注目されています。しかし、これにも課題があります。LLMの推論は非常に負荷が高く、一般的なパソコンやスマートフォンでは、ほかのアプリと同時に動かすには処理能力やメモリが不足しがちです。

そこで注目されるのが、シングルボードコンピュータ（SBC）という選択肢です。SBCとは、クレジットカードほどのサイズにCPUやGPU、メモリなどを備えた小型コンピュータのことです。Raspberry Piに代表されるこれらのデバイスは、IoTや組み込みシステム、ロボット工学など幅広い用途で使われてきました。価格は100ドル以下と手頃で、オープンソースの開発も活発です。

中小企業にとっては、このシングルボードコンピュータが現実的な選択肢となりえます。大企業のように大規模なクラウドインフラを構築するのは難しくても、要約や質問応答、テキスト分類など、目的を絞ったLLMであれば、シングルボードコンピュータでも十分な性能が期待できます。ローカルで動かせるためプライバシーも守りやすく、インフラコストも抑えられます。

本記事は、こうした実用的なニーズを踏まえて、100ドル前後の低コストなハードウェアでLLMがどの程度使えるのかを検証した事例を取り上げます。複数のシングルボードコンピュータを使い、さまざまなLLMアーキテクチャと要約タスク用のプロンプトを組み合わせて性能を測定し、企業がシングルボードコンピュータを使ってLLMを活用する際の現実的な道筋を探っています。