この記事では、「LLMエージェントシステムのスケーリング原理」に関する研究を紹介します。

最近では、複数のLLMエージェントが協力してタスクをこなす「マルチエージェントシステム」が注目を集めています。しかし、単純に「エージェントの数を増やせば性能が向上する」というわけではありません。

今回の研究では、180通りの実験を通して、マルチエージェントの効果がどのような条件で高まり、逆にどのような場合に悪影響を及ぼすのかが、定量的に示されました。

背景

最近は、複数のLLMエージェントを協力させてタスクを解決するやり方が注目を集めています。たしかに、うまくいくときもありますが、どんなタスクでも効果的とは限りません。むしろ、タスクの内容によっては、エージェントを増やすことで性能が大きく下がってしまうこともあるのです。

たとえば、数学のように一度で答えを出せるタスクでは、複数のエージェントで意見を集めることで精度が上がる可能性があります。でも、コードのデバッグのように、何度も試行錯誤を重ねながら進めていくようなタスクでは、かえってエージェント同士のやり取りが負担になり、うまくいかないこともあります。

これまでの研究の多くは、比較的単純なタスクを対象にしてきたため、「マルチエージェントは効果がある」という結果が出やすかったのですが、実際の現場で求められるのはもっと複雑な作業です。そこにズレがあったため、現場では混乱が生じていたわけです。

さらに、最近のLLMは1つのエージェントでもかなり高性能になってきています。長い文脈を扱えたり、ツールを使いこなしたり、自分の出力を見直したりすることもできるようになってきました。そうなると、わざわざ複数のエージェントに分けて使う意味があるのかという疑問も出てきます。

そこで本記事では、そうした疑問に答えるために、多くのパターンで実験を行い、マルチエージェントの効果が出る条件とそうでない条件を整理しようとしている事例を取り上げます。実務でLLMを活用するうえで、「どういうときにマルチエージェントを使うべきか」を判断するヒントになる内容です。