本記事では、複数のLLMをどのように組み合わせるかを”再検討”した研究を紹介します。
複数モデルの出力を束ねて答えを出す手法はこれまで注目され続けてきましたが、どのように組み合わせるとよいのかといった疑問は残ったままでした。
今回プリンストン大学の研究者らは、そもそも単一の強力なモデルを繰り返し用いるほうがよいのではないかと仮説を持ち、多様なモデルを混在させる戦略と比較して多角的に検証しました。
背景
LLMは、規模拡大と膨大なデータ投入によって性能向上が図られてきました。単一モデルの進化に注目されがちですが、複数のモデル出力を統合するアンサンブル手法も目が離せません。
アンサンブル手法の一種である「Mixture-of-Agents（MoA）」は、多様なモデルの知見を組み合わせることで、難易度の高いタスクにおいても性能向上が報告されています。しかしながら、モデル混合時に質の低いモデルが含まれるとどうなるのかといった疑問は未解決のままです。
単なる多様性だけではなく、各モデルの基本性能自体が重要ではないかという議論も生まれています。
また、同一モデルを複数回実行して異なる回答を取得する方法も検討されつつありますが、どのような条件下でどちらの手法が優位性を持つかについては、まだ十分に解明されていません。
このような背景を踏まえ、今回研究グループは「異種のLLMを組み合わせる本質的価値はどの程度あるのか」という根本的な問いに立ち返り、単一モデルから得られる複数出力を統合するアプローチと比較する研究に着手しました。
以下で詳しく紹介します。
