本記事では、Google DeepMindが開発した新しいオープン言語モデル「Gemma 2」を紹介します。知識蒸留技術を活用して小規模モデルの性能向上を実現し、一部のタスクでは2倍以上大きなモデルとも競争力を示しています。

研究チームは、効率的なモデル訓練だけでなく、責任あるAI開発にも注力しており、安全性や倫理面への配慮も強調しています。

背景

LLMの性能を上げる主なアプローチは「スケーリング」、つまりモデルの規模を拡大することです。結果としては現在のLLMは様々な言語タスクで高い性能を示し、複数言語の処理や画像理解、さらには100万単語以上の長文脈理解までも可能になりました。

一方で、計算資源の制約から小規模モデルの改善も進められています。小規模モデルの性能向上では主に訓練時間を延長する方法が採られてきましたが、限界があります。データ量を増やしても性能は対数的にしか向上せず、例えば15兆もの「トークン」（言語モデルが処理する最小単位）で訓練しても、性能向上は1-2%程度にとどまります。

そこで今回Google DeepMindの研究チームは、訓練時間を延長する以外の方法で小規模モデルの性能を引き出す手法を探求しました。

彼らは「知識蒸留」と呼ばれる技術に注目しました。大規模モデルの「知識」を小規模モデルに効率的に転移する方法です。

そして開発された「Gemma 2」モデルは、同規模の他のオープンソースモデルを大きく上回る性能を示し、さらに2-3倍大きなモデルとも互角の結果を出しました。質問応答や常識推論、数学・科学的推論、プログラミングなど、幅広い分野でのベンチマークテストと人間による評価で実証されています。

以下で詳しく紹介します。