既存のLLMを融合させて強力なモデルを作る手法「知識融合」が開発されました。
実験では融合モデルがさまざまな能力（論理や常識、コード生成など）で融合前のモデルを超える結果が得られたとのことです。
“Knowledge Fusion of Large Language Models”, ICLR 2024より
※なお、混合モデルを提唱する”Blending Is All You Need”とはアプローチ・評価方法ともに異なる研究です
■研究背景
– LLMの訓練はコストがかかる
– 目的に対してオーバースペックになることもある
– 既存のLLMを融合することで効率化できそうだ
■「知識融合」の方法論
1. 融合させたい複数のLLMを選定する
2. 各モデルの知識の互換性を検証する
（例えば「猫」が同じ概念を示すことを確認する）
3. 各モデルの特性をどう組み合わせるか策定する
4. 融合して評価する
■実験と結果
1. 「Llama-2」「OpenLLaMA」「MPT」を融合して「FUSELLM」を作成した
2. 下記タスクを中心に顕著に性能が向上した
– 論理
– 常識
– コード生成
なお互換性が重視されること、融合の戦略が重要であることが強調されています。
互換性や戦略をうまく立てないと、融合モデルの性能は必ずしも向上するばかりではない恐れもあるとのことです。
