複数のAIエージェントを話し合わせると、自信満々に間違ったことを言うエージェントに引きずられたり、延々と議論が堂々巡りしたりする「崩壊」が起こるとのこと。
その崩壊には明確な「兆候」があり、
■個々のエージェントが何度も意見を変える
■合意に至れない
■出力に自信がない
これらが見られるそうです。
そこで研究者らは「意見をコロコロ変えるな」「仲間と対立し続けるな」「自信のない結論を出すな」という3つのペナルティをAIの学習に組み込みました。
結果として、5体中3体が妨害者という過酷な状況でもシステムが機能し続けたとのことです(!)。
この対策は、難しい問題ほど効果が大きいこともわかりました。
📄 参照論文
The Value of Variance: Mitigating Debate Collapse in Multi-Agent Systems via Uncertainty-Driven Policy Optimization
著者: Luoxi Tang, Yuqiao Meng, Joseph Costa, Yingxue Zhang, Muchao Ye 他
所属: Binghamton University, University of Iowa
この記事は短信を元に作成されました。