AIDB Daily Papers
SidConArena:オープンエンドな正和交渉ゲームにおけるAIエージェント評価環境
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 交渉や生産、資産オークションを組み合わせた複雑な経済活動をシミュレートする新しいAIエージェント評価フレームワークを提案した。
- 静的な推論やゼロサムゲームを超え、現実社会のようなオープンエンドかつ混合動機な環境でエージェントの能力を測定できる点が新しい。
- 高性能モデルほど高い経済的成果を出す一方で、リソースの価値評価や長期的な投資計画には依然として課題があることが判明した。
Abstract
Evaluating LLM agents requires dynamic environments that go beyond static reasoning and zero-sum games. Real-world economic interaction is often open-ended and mixed-motive: agents must negotiate, create positive-sum surplus, compete for scarce assets, and plan under delayed returns. We introduce SidConArena, a new benchmark framework for evaluating LLM agents in open-ended, positive-sum bargaining. SidConArena formalizes a multi-player economy as a finite-horizon partially observable stochastic game with three coupled phases: natural-language negotiation with binding trades, deterministic converter-based production, and sealed-bid auctions for long-term assets. The framework combines structured observations, phase-aware agent dispatching, a neural-symbolic action interface, and asynchronous execution, enabling free-form interaction while preserving rule-grounded evaluation. Across homogeneous and heterogeneous tournaments, stronger frontier models achieve higher economic outcomes, yet agents still misvalue resources, bargain passively, and remain limited in long-horizon investment planning.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: