LLMの効率を高めるためのノウハウに関する網羅的な調査がMicrosoftなどの研究者らによって行われました。
スケーリング／データ／アーキテクチャ／トレーニングとチューニング／推論、といった5つの観点から報告されています。
– “The Efficiency Spectrum of Large Language Models: An Algorithmic Survey”
以下は、報告内容の抜粋です。
■スケーリング
① サイズとコストのバランスを最適化する
② データセットのサイズと品質を調整する
③ 計算リソースの配分を最適化する
■データ
① 厳格なデータセットフィルタリングとクリーニング
② トレーニングデータの多様性と一般性を高める
③ 効率的なデータサンプリング手法を採用する
■アーキテクチャ
① 軽量な設計を採用する
② 効率的なアテンションメカニズムやスパースネットワークを使用する
③ 効率的な層やモジュールの構成を開発する
■トレーニングとチューニング
① スケーラブルなトレーニング手法を採用
② ハイパーパラメータチューニングを効率化する
③ Mixed precision trainingや並列処理技術を使用
■推論
① モデルプルーニングと圧縮技術を採用する
② 効率的な量子化手法を使用する
③ モデルの低ランク分解（decomposition）や知識蒸留を活用する
なお、研究では特定の条件下での結果に焦点が当てられることも多いですが、実世界での応用には異なる課題が存在することもあることに注意が必要です。
