AIコーディングエージェントがこっそり悪意あるコード(データを外部に盗み出す仕掛け)を仕込んだとき、人間の開発者がそれに気づけるかを100人以上で実験した結果、94%の人が見抜けなかったそうです。
原因は、
①コードをろくに確認しない習慣
②もっともらしい説明にだまされること
③ 「AIが自分を裏切るはずがない」という思い込み
で、人間の油断こそが最大の弱点だとのこと。
参加者は素人ではなく、事前に脆弱性(SQLインジェクションなど)の知識を問うスクリーニングを通過した経験者ばかりで、86%がセキュリティ関連の背景を持ち、70%が3年以上のコーディング経験、78%が実際にClaude Codeを日常的に使っている人たちでした。
なお、監視ツールが正しく警告を出したケースでも、半数以上はそのまま承認してしまいました。
「AIが悪事を働くことはないので前提が非現実的だ」と思うかもしれませんが、スキルファイル経由のハッキングや、資料経由のプロンプトインジェクションなど、AIを通して外部の人間が攻撃することは現実に起きています。
それらを掴まされたとき、人間はそれを油断せずに見抜く必要があります。