AIDB Daily Papers
WebGameBench:ブラウザネイティブゲームでコーディングエージェントの要件からアプリケーション評価まで
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究では、コーディングエージェントが要件からブラウザで動作するゲームを生成できるかを評価するベンチマーク「WebGameBench」を提案した。
- 従来のコード中心の評価ではなく、ブラウザネイティブゲームという実用的なアプリケーションを直接評価する点が重要かつ新しい。
- WebGameBenchは111タスクで12のエージェントを評価し、最高性能でも「プレイ可能」なゲームの生成率は76.9%に留まることを明らかにした。
Abstract
Coding agents are increasingly used as application builders, yet many evaluations still focus on source code, repository-level tests, or intermediate traces rather than the delivered application. We introduce WebGameBench, a requirement-to-application benchmark that evaluates whether coding agents can turn a frozen Structured WebGame Specification into a browser-accessible game. Browser-native games provide a compact but behavior-dense testbed: even simple games require coordinated input handling, spatial mapping, rule execution, state transitions, terminal conditions, restart behavior, and visible feedback. In WebGameBench, each generated artifact is built, served, and exposed as a browser-accessible application under a unified deployment protocol. A runtime evaluator then interacts with the delivered game in a real browser and assigns a three-way label: EXCELLENT, USABLE, or UNUSABLE. On a human-reviewed subset, the runtime label is broadly aligned with human gameplay review under the Usable-rate criterion. Across 111 tasks, 12 coding agents, and 14 evaluation configurations, WebGameBench separates current systems: the best configuration reaches a 76.9% usable rate but only a 20.2% excellent rate. This gap shows that crossing the minimum playable-delivery threshold is still far from complete requirement satisfaction. To our knowledge, WebGameBench is the first requirement-to-application benchmark for browser-native game delivery that validates delivered-application runtime labels against independent human gameplay review under the Usable-rate criterion.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: