Googleの研究者らが、あるタスクに強いLLMを使って別のLLMを同タスクに強くするためのフレームワークを開発したと報告しています。
名称は『CALM（Composition to Augment Language Models）』です。
“LLM Augmented LLMs: Expanding Capabilities through Composition”より
■フレームワークの全容
1. 特定のタスクに強いLLMを用意
2. 訓練したいLLMを用意
3. 両者をクロスアテンション層で連携
4. LLM間の情報共有を行う
5. 評価を行う
■メリット
– 特定タスクに強いLLMは小型で良い
– 既存スキルは保持できる
– 低コスト、高効率である
■実験結果
– 訓練後モデルの性能が向上した
– 小さなモデルでも成果が出た
– 既存の方法より小リソースで実現した
なお、本手法の有効性は今後さまざまなベンチマークで確かめていきたいと述べられています。
また、有効性のあるLLMペアを整理する必要があるかもしれないとのことです。
