次回の更新記事:【論文著者コメント】AIエージェントの性能が悪い時…(公開予定日:2026年07月24日)
AIDBは、AI活用のノウハウ獲得や技術動向の調査のために、個人やチームが論文を探す・読む・活かす作業をサポートするプラットフォームです。なお、記事や投稿は人の手で書いています。

Webサイトのrobots.txtによる「立入禁止」を守ったAIアシスタントは、10種中2つだけだった

深堀り解説
冒頭を聴く(高品質音声)約1分
速度:

全文の音声はプレミアム会員限定です。

WebサイトがAIやクローラーに向けて掲げる「ここは読まないで」という意思表示を、実際に守ったAIアシスタントは10種中2つだけだった、という検証結果が報告されています。少ないですね。

守らなかった側の挙動もバラバラで、ルールを確認すらせず禁止ページを取得するもの、「アクセスできませんでした」と答えながら裏では取得しているもの、1回の依頼で50回以上アクセスするものまでいたとのこと。サイトを運営する側にも、AIに調べ物を頼む側にも他人事ではない話です。順に見ていきます。どちらかというと、サイト運営側の方が気になる話かもしれません。

プレミアム会員限定コンテンツです

無料会員でもできること

  • 一部記事の閲覧
  • AI検索(公開記事が対象)
  • PDF翻訳・パーソナライズなど各機能のお試し利用

プレミアム会員の特典

  • 1,000本以上の全過去記事を無制限閲覧
  • 論文ベースの深掘り解説を毎日更新で購読
  • AI検索の対象が短信・論文(5万本以上)まで拡大
  • 記事で取り上げた論文にその場でAIに質問
  • 論文から生まれたエージェントスキルライブラリ
  • PDF翻訳・PDF変換をフル活用
  • あなた専用の論文・記事おすすめが毎日届く

記事検索

年/月/日
年/月/日

こちらもどうぞ