本記事では、ブラウザ内での大規模言語モデル（LLM）のローカル展開を実現するフレームワークを紹介します。
近年、オープンソースコミュニティから登場した小型高性能モデルと、デバイス性能の向上により、LLMの利用可能性が大きく拡大しました。その中でもブラウザは、自然なエージェント環境を提供する理想的なプラットフォームとして注目されています。
発表者情報
- 研究者：Charlie F. Ruan et al.
- 研究機関：カーネギーメロン大学、上海交通大学、NVIDIA
背景
これまでの常識として、高性能なLLMには高価な業務用グラフィックス処理装置（GPU）が必要で、クラウドのサーバーでしか動作させることができませんでした。
近年、状況は大きく変わりつつあります。性能を維持したまま小型化されたLLMが、オープンソースで公開され始めたのです。パラメータ数（モデルの複雑さを表す指標）は10億から30億程度に抑えられています。一方で、一般向けパソコンの処理能力も著しく向上しました。例えばAppleの最新プロセッサM3を搭載したノートパソコンでは、データ容量を圧縮した30億パラメータのモデルでも、1秒間に90個の単語を生成できるほどの速度を実現しています。
手元の端末でLLMを動かせるようになれば、新たな可能性が広がります。個人情報を外部に送信せずにすみ、ユーザーのプライバシーが守られます。端末内のデータを活用した個人向けのカスタマイズも可能になります。さらに、必要に応じてクラウドと手元の端末を使い分ける柔軟な運用方法も検討できます。
そんな中で注目を集めているのが、ウェブブラウザ上でのLLM実行です。ブラウザには3つの大きな利点があります。第一に、予定管理やメール作成、文書編集など、日常的なタスクを行う環境として最適です。第二に、URLを開くだけで利用でき、特別なソフトのインストールが不要です。第三に、開発者の負担が軽減されます。従来は異なるGPUメーカーごとに別々のプログラムを用意する必要がありましたが、WebGPUという新技術により、1つのプログラムで対応できるようになったのです。
こうした背景から、ブラウザ内でLLMを動作させるフレームワークの開発が進められました。誰でも利用・改良できるJavaScriptフレームワークとして公開されており、ウェブ開発者は高度な言語処理機能を簡単にウェブサイトに組み込めるようになりました。以下で詳しく紹介します。
