LLMが進化を続ける中、一つの疑問が浮かび上がってきました。「複数のLLMの長所を組み合わせることで、単一のモデルを超える性能を実現できるのではないか？」この問いに答えるべく、研究者たちは新たなアプローチを開発しました。それが「Mixture-of-Agents（MoA）」です。なお、モデルマージとは別の概念です。
参照論文情報
- タイトル：Mixture-of-Agents Enhances Large Language Model Capabilities
- 著者：Junlin Wang, Jue Wang, Ben Athiwaratkun, Ce Zhang, James Zou
- 所属：Together AI, Duke University, University of Chicago, Stanford University
背景
LLMは、人の好みに合わせて調整することで、より便利で一貫性のある文章を作れるようになってきました。しかし、モデルのサイズや学習データには限界があり、単純に大きくすることで性能を上げるには莫大な費用がかかります。
一方で、LLMは種類によって得意なことが違います。例えば、複雑な指示に従うのが得意なモデルや、コードを書くのが得意なモデルなどがあります。
そこで、研究者たちは新しいアイデアを思いつきました。それは、異なる得意分野を持つLLMを組み合わせることです。
例えば、複雑な指示を理解するのが得意なモデルと、プログラミングコードを生成するのが上手なモデルを組み合わせれば、より高性能で柔軟になるのではないか、と考えたのです。
これまでにも、複数のLLMを組み合わせて使う方法はいくつか提案されてきました。例えば、出力された文章の順位を変えたり、どのモデルを使うかを選んだりする方法があります。また、複数のLLMを対話させて問題を解決する方法も考えられています。しかし、計算コストが増えたり、モデル同士の連携が難しいという問題があります。
そんな中、今回研究者たちは、LLMが持つ「協調性」という性質に着目しました。LLMが他のモデルの回答を参考にすることで、自分の回答の質を高められるという性質です。この特徴を活かすために考え出されたのが、「Mixture-of-Agents（MoA）」という新しい方法です。複数のLLMを段階的に組み合わせ、お互いの回答を参考にしながら、少しずつ回答を改善していくことで1つのモデルだけを使うよりも、はるかに優れた性能を引き出すことができるのです。
以下では本手法の詳細をお伝えします。
プレミアム会員ディスカッション
ディスカッションに参加するにはログインが必要です。
ログイン / アカウント作成 →
