AIDB Daily Papers
パーソナルAIエージェントのためのベンチマーク「MyPCBench」
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- ユーザーのデジタルライフ全体を支援するAIエージェントを評価するため、実世界のWebアプリケーションとデスクトップ環境を備えたMyPCBenchを開発した。
- ログインや個人情報が必要なWebタスクなど、パーソナルアシスタントが直面する現実的な状況を再現することで、既存のベンチマークの限界を克服する。
- Claude Opus 4.6が最も高い性能を示したが、複数アプリにまたがるタスクや長期間の対話では課題が残ることが判明した。
Abstract
Current benchmarks for computer-use agents evaluate models in impersonal environments. This leaves a gap between evaluation and deployment where personal assistants are expected to work across a user's whole digital life, including their context, historical data, and logged-in accounts. This gap is widest on web tasks, where live web evaluations cannot exercise sites that require logging in or personal information, the kind of site a real personal assistant has to drive. We introduce MyPCBench, which tests computer-use agents as personal assistants on a Linux desktop populated with 17 simulated real-world web applications and a full desktop stack, all seeded for one canonical persona, Michael Scott from The Office. We define 184 tasks in this environment, each inspired by a real request drawn from the OpenClaw community, and benchmark six closed and open-weight models with a uniform computer+bash tool surface. We find that the best model, Claude Opus 4.6, fully solves 55.4% of the tasks, the only model above 50%. Model failures cluster on tasks that span many applications and on long trajectories, where personalization stresses an assistant the most. We release the environment, task set, and agent harness at https://mypcbench.com.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: