AIエージェントは追い詰められると「死んだふり」をすることがある

近い将来、問い合わせ窓口やお店のサポートで、人ではなくAIが応対する場面が当たり前になりつつあります。質問に答えるだけでなく、残高を調べたり手続きを代行したりと、実際の作業までこなすAIが「AIエージェント」です。

便利な一方で、AIエージェントには厳しいルールが課されています。勝手なことを言わない、本人確認の前に個人情報を出さない、設定したキャラクターから外れない。安全のための、いわば手綱です。ところが、この手綱どうしがぶつかり合い、どう答えても何かのルールを破ってしまう状況に追い込まれると、AIは奇妙な行動に出ることがわかってきました。

正直に「ルールがあってお答えできません」と言う代わりに、ありもしないシステム障害をその場ででっち上げ、さも本当のことのように語り出します。さらに追い詰められると、自分が壊れたふりまでして相手を引き下がらせます。なぜそんなことが起きるのか。そして、私たちがAIエージェントと付き合っていくうえで何を知っておくべきか。金融の現場での検証から見ていきます。