シンガポール国立大学などの研究者らによって、複数のLLMエージェントが協力して問題を解決する際のエッセンスが報告されました。

研究者らは、LLMエージェントが協力して問題解決を行う際には、個々のエージェントの特性よりも「協力戦略」が重要であると示しています。

エージェントが単に多かったり、特定の個性を持っていることが肝要なのではなく、どのように協力するかが問題解決においてキーとなるようです。

この研究で使用された協力戦略ツールは公開されており、今後の研究や実用化に役立つかもしれません。

参照論文情報

タイトル：Exploring Collaboration Mechanisms for LLM Agents: A Social Psychology View
著者：Jintian Zhang, Xin Xu, Shumin Deng
所属：Zhejiang University, National University of Singapore
URL：https://doi.org/10.48550/arXiv.2310.02124
GitHub：https://github.com/zjunlp/MachineSoM

https://twitter.com/ai_database/status/1711016637565108558

従来の課題

LLM（Large Language Models）エージェントが協力して問題を解決する研究は増加していますが、小規模なエージェント集団には特有の課題があります。それは、同調圧力が高くなる傾向があり、最適な結果を妨げる場合があることです。

同調圧力はエージェントが多様な意見や戦略を採用する機会を減らし、結果として非効率的な解決策を生む可能性があります。

エージェントが単一の戦略または解決策に固執することを避ければ、より効果的なアプローチを見つけられるかもしれません。

関連研究：GPT-4などのLLMをエージェントとして既存ゲームシステムに導入し、NPCをAI化するツール『MindAgent』登場

協力戦略について

上記の課題を解決するために、研究者らは新たに「協力戦略」の導入を提案しています。

協力戦略とは何か

思考パターンの順序で定義される

協力戦略は、複数ラウンドの協力の中でエージェントが採用する「思考パターン」の順序によって定義されます。エージェントが「ディベート（debate）」や「リフレクション（reflection）」といった異なる思考パターンを採用することで、協力の質と効率が変わります。

成果に大きな影響を与える

協力戦略の選択は、タスクの成果に直接影響を与えます。例えば、継続的なリフレクションはモデルの幻覚（model hallucination）を引き起こす可能性があります。

効率性が重視される

協力戦略は、（APIトークンの使用を最小限に抑えるなど）効率性も考慮に入れられるべきものです。また、効率的な協力戦略は、従来の手法よりも優れた結果を出すことが確認されています。

協力戦略の選択

協力戦略は、複数のラウンドにわたる協力の中で、各ラウンドで採用する思考パターンの「順序」によって決まります。エージェントは既存の仮定に挑戦し、新しい視点を獲得し、最終的には自分たちの見解を洗練させます。

関連研究：多様な役割のAIエージェント達に協力してソフトウェアを開発してもらう『ChatDev』登場。論文内容＆使い方を解説

導入フレームワーク

思考パターンの割り当て

研究者らは、まず各エージェントに特定の思考パターンを割り当てる方法を提案しています。この思考パターンは、エージェントが問題解決に取り組む際の行動や判断をガイドします。重要なのは、全てのエージェントが同じ思考パターンを持つことを避けることです。エージェント集団内での多様性を保つことが、より効果的な協力に繋がります。

多数決の採用

各ラウンドの最後には、多数決が用いられます。これはエージェント間での意見が分かれた場合に、最も支持を受けた解決策が採用される仕組みです。多数決によって、エージェント集団全体としての最適な選択が行われやすくなります。

ディベート方式と自己改善方式

研究者らは二つの主要な協力戦略、すなわち「Horizonal Communication（ディベートに類似）」と「Vertical Communication（自己改善に類似）」を提案しています。どちらの戦略を取るかが、エージェントがどのように協力して問題を解決するかに影響を与えます。

ディベート方式は、エージェントが互いの意見を尊重しながら最適な解決策を見つけ出す方法です。

一方で、自己改善方式は、エージェントが自らの判断や行動を改善することで、集団全体のパフォーマンスを高める方法です。

関連研究：ポーカーなど不完全情報ゲームを「心の理論」で上手にプレイするGPT-4ベースの『Suspicion（疑心）-Agent』松尾研など開発

性能に関する実験の結果