次回の更新記事:エージェントハーネスを工夫すればClaude Codeにせま…(公開予定日:2026年07月22日)
AIDB Daily Papers

実務セッションから構築されたエンタープライズAIエージェント評価ベンチマーク「EnterpriseClawBench」

原題: EnterpriseClawBench: Benchmarking Agents from Real Workplace Sessions
著者: Jincheng Zhong, Weizhi Wang, Che Jiang, Kai Tian, Zhenzhao Yuan, Junlin Yang, Dianqiao Lei, Kaiyan Zhang
公開日: 2026-06-22 | 分野: ベンチマーク 評価 エンタープライズ cs.CL cs.SE AIエージェント

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 実世界の企業エージェントのセッションから、852の再現可能なタスクと評価指標を持つベンチマーク「EnterpriseClawBench」を構築した。
  • 既存の評価手法では不十分なため、アーティファクトの質やコストなど多角的な評価が可能なベンチマークを開発した点が重要である。
  • 最先端モデルでも達成率0.663と低く、エンタープライズAIエージェントの評価にはモデルとツールの組み合わせ、コスト、実行時間などを総合的に考慮する必要があることが示された。

Abstract

Enterprise agents increasingly operate inside workspaces: they read heterogeneous files, invoke tools, and deliver business artifacts. We introduce EnterpriseClawBench, an enterprise agent benchmark constructed from proprietary, real-world agent sessions. Starting from a large archive of workplace sessions, the EnterpriseClawBench produces 852 reproducible tasks, each paired with recovered fixtures, rewritten prompts, role classes, skill subclasses, hard rules, and semantic rubrics. Because the sessions contain internal enterprise content, we do not release the benchmark data; instead, our reusable contribution is the construction and evaluation protocol. On EnterpriseClawBench, the best configuration reaches only 0.663 (Codex with GPT-5.5). These results show that enterprise agent evaluation must report harness--model combinations, artifact delivery, visual quality, cost, runtime, and skill-transfer behavior, rather than collapsing performance into a single score. Code: https://github.com/FrontisAI/EnterpriseClawBench

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事