複数のエージェントに協力して仕事を開始させ、タスクの進行に応じて重要なエージェントを取捨選択する『Dynamic LLM-Agent Network（DyLAN）』フレームワークが発明されました。
幾つかのベンチマークでタスク精度向上が確認されています。
ジョージア工科大学やスタンフォード大学などの研究者らによる発表です。
○ Zijun Liu et al., “Dynamic LLM-Agent Network: An LLM-agent Collaboration Framework with Agent Team Optimization”
これまでに考案されてきたエージェントフレームワークは、タスクの多様性に対応できないと言われています。
エージェント達に仕事を投げる人間の事前知識に強く依存しており、効率性と汎用性に欠けるのが課題でした。
そこで研究者らはタスクに応じて動的にエージェントを選択する方式を考えました。
■『DyLAN』フレームワークの方法論
① 複数のLLMエージェントをフィードフォワードネットワークとして構築
② エージェント間で複数回のインタラクションを行う
③ エージェントの重要度に基づいて、動的にエージェントを選択または除外する
なお、エージェントの重要度を測定する”Agent Importance Score”も作成されています。
■実験方法
① 一般的な推論タスク、算術推論、コード生成タスクでの評価を行なった
② 既存のベンチマーク（MATH, HumanEval, MMLU）を使用
■実験の結果
① MATHとHumanEvalでそれぞれ13.0%、13.3%の性能向上
② MMLUの特定の科目で、エージェントチームの最適化により精度が最大25.0%向上
■主な結論
① DyLANは多様なタスクに対して高い性能と効率性を持つ
② Agent Importance Scoreはエージェントチームの最適化に有用
③ 本フレームワークは、LLMエージェントの協調方法において新しい方向性である
■注意点
① 研究目的の一つは汎用性の追究だが、まだ実験されたタスクは限られている
② 計算コストが膨れるリスクがある
③ エージェントの重要度の評価基準が偏る恐れがある
④ 効率性を向上させるための早期停止メカニズムの詳細な影響が未検証
⑤ 他のフレームワークに対するどれほどの優位性があるかは要検証
