同じLLMでも、考え方の異なる4人に分けて別々に解かせてから統合すると、ひと回り大きいモデルを単体で使うよりほぼすべての設定で成績が良くなるとの報告です。
Googleの研究者らによる検証。
①提案役と批判役が議論して詰める
②計画を立てて実行と検証に分ける
③多数の候補を一気に出して選ぶ
④素直に順を追って考える
⑤(これらを並列に走らせ、)最後に統合役が答えを選ぶ
同じモデルを何度も回して多数決を取る手法より強い。
その理由は、考え方が同じだと間違い方まで揃ってしまう点にあるそうです。
なお、常に4役すべてを使うのが最善とは限らず、タスクの性質に合わせて1役を外すと、消費トークンが減った上で精度がむしろ上がる場合がありました。
統合役に渡す情報が多すぎると、かえって判断を濁らせるようです。
こうしたテクニックは、最近になって「サブエージェント」という概念が民主化してから再燃している印象があります。