次回の更新記事:AIにとって親切なバグ報告書は、人間にとってのそれとは異なる(公開予定日:2026年07月28日)
AIDBは、AI活用のノウハウ獲得や技術動向の調査のために、個人やチームが論文を探す・読む・活かす作業をサポートするプラットフォームです。なお、記事や投稿は人の手で書いています。

小さなLLMを多数組み合わせることで、単一の巨大モデルに匹敵する可能性

2024.02.22
深堀り解説

大規模言語モデル(LLM)のパフォーマンスを向上させる極めてシンプルな方法を発見したと報告されています。その方法とは、複数のエージェントを生成し、それらの結果を投票によって集計するというものです。既存の複雑なLLM強化手法とは異なる考え方です。

実験では、タスクの難易度と本方法論の効果の大きさが相関関係にあることが示されました。そして、エージェント数のスケーリング則(増やせば増やすほど性能が向上する法則)の可能性について詳細に調べられています。

参照論文情報

  • タイトル:More Agents Is All You Need
  • 著者:Junyou Li, Qin Zhang, Yangbin Yu, Qiang Fu, Deheng Ye
  • 所属:Tencent Inc.

背景

LLMは、単一のモデルで複雑な問題に対応する能力には限界があるとされています。そこで研究者たちは複数のLLMを組み合わせる手法(アンサンブル手法)や、LLMエージェント同士が連携するフレームワークの開発に注力しています。例えば複数のLLMエージェントを用いた議論形式も提案されており、計算能力などの向上が示されています。

複数エージェントのフレームワークでは、エージェントの数を増やすことで性能が向上する傾向にあることも明らかになっています。とはいえ、その普遍性はまだ十分には検証されていません。そこで研究者らは、LLMエージェントのスケーリング特性に焦点を当て、この現象が一般に成り立つかどうかを調査することにしました。

研究者らは、「サンプリング&投票」というシンプルな手法を提案しています。タスクの質問文をLLMまたはLLMエージェントの連携フレームワークに繰り返し入力し、複数の出力を生成し、多数決によって最終的な結果を決定する手法です。既存の複雑な手法とは全く独立する方法かつ、既存の複雑な手法の性能をさらに向上させる可能性を秘めています。

また、教師あり学習を必要とせず、追加の訓練データも必要としません。

方法論

プレミアム会員限定コンテンツです

無料会員でもできること

  • 一部記事の閲覧
  • AI検索(公開記事が対象)
  • PDF翻訳・パーソナライズなど各機能のお試し利用

プレミアム会員の特典

  • 1,000本以上の全過去記事を無制限閲覧
  • 論文ベースの深掘り解説を毎日更新で購読
  • AI検索の対象が短信・論文(5万本以上)まで拡大
  • 記事で取り上げた論文にその場でAIに質問
  • 論文から生まれたエージェントスキルライブラリ
  • PDF翻訳・PDF変換をフル活用
  • あなた専用の論文・記事おすすめが毎日届く

記事検索

年/月/日
年/月/日

こちらもどうぞ