AIエージェントを業務に入れる検討を始めた担当者の多くが、同じ戸惑いを抱えています。ベンダーのデモ動画では、AIがフォームを軽快に埋めて予約を取り、買い物まで済ませます。ところが自社の業務で試すと、Cookie同意のポップアップで止まり、ログインセッションが切れて止まり、入力欄を取り違えて止まります。練習用の環境では7割を超えるスコアを出すモデルが、本物のサイトではまるで別人のように振る舞うこの違和感には、長らく定量的な説明がありませんでした。

本記事では、日常のネット作業をAIにどこまで任せられるのかを本物のサイトで測った結果と、そこから実務者が持ち帰れる情報を整理していきます。