LLMの小規模化と高性能化を両立させた『Gemma 2』Google DeepMindが発表

   
★AIDB会員限定Discordを開設いたしました! ログインの上、マイページをご覧ください。

★企業と人材のマッチングサービスを準備中です。アンケートのご協力をお願いいたします!↓

本記事では、Google DeepMindが開発した新しいオープン言語モデル「Gemma 2」を紹介します。知識蒸留技術を活用して小規模モデルの性能向上を実現し、一部のタスクでは2倍以上大きなモデルとも競争力を示しています。

研究チームは、効率的なモデル訓練だけでなく、責任あるAI開発にも注力しており、安全性や倫理面への配慮も強調しています。


AIDBの全記事が読み放題のプレミアム会員登録はこちらから↓

参照論文情報

  • タイトル:Gemma 2: Improving Open Language Models at a Practical Size
  • 著者:Gemma Team
  • 所属:Google DeepMind

背景

LLMの性能を上げる主なアプローチは「スケーリング」、つまりモデルの規模を拡大することです。結果としては現在のLLMは様々な言語タスクで高い性能を示し、複数言語の処理や画像理解、さらには100万単語以上の長文脈理解までも可能になりました。

一方で、計算資源の制約から小規模モデルの改善も進められています。小規模モデルの性能向上では主に訓練時間を延長する方法が採られてきましたが、限界があります。データ量を増やしても性能は対数的にしか向上せず、例えば15兆もの「トークン」(言語モデルが処理する最小単位)で訓練しても、性能向上は1-2%程度にとどまります。

そこで今回Google DeepMindの研究チームは、訓練時間を延長する以外の方法で小規模モデルの性能を引き出す手法を探求しました。

彼らは「知識蒸留」と呼ばれる技術に注目しました。大規模モデルの「知識」を小規模モデルに効率的に転移する方法です。

そして開発された「Gemma 2」モデルは、同規模の他のオープンソースモデルを大きく上回る性能を示し、さらに2-3倍大きなモデルとも互角の結果を出しました。質問応答や常識推論、数学・科学的推論、プログラミングなど、幅広い分野でのベンチマークテストと人間による評価で実証されています。

以下で詳しく紹介します。

当サイトの利用にはAIDBのアカウントが必要です。
また記事の購読には、アカウント作成後の決済が必要です。



※ログイン/初回登録後、下記ボタンを押してください。

AIDBとは
プレミアム会員(記事の購読)について







■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。






業界/カテゴリー

PAGE TOP