ハーバード大学、MIT、スタンフォード大学などの研究者らが共著で「カオスを生むエージェントたち」との論文を出し、今のエージェントには大きく3つ足りないものがあるため知って欲しいと報告。
①誰に仕え、誰と対話し、誰に影響するかを把握する仕組み
②どこまで自分にできるかを理解する感覚
③誰に何が見えているかを踏まえて内密に考える仕組み
です。
こうした状況で、メール送信、ファイル操作、シェル実行、他のエージェントとの連携までできるようになると、ちょっとした判断ミスがそのまま現実の被害につながります。
研究者たちは、実際にそうした自律型エージェントを隔離されたサーバー環境で2週間動かして、20人の研究者がいろいろ試したところ、
・他人の指示に従ってしまう
・秘密を漏らす
・無限ループで資源を食いつぶす
・なりすましに引っかかる
・他のエージェントに危ないやり方を広める
などの問題が本当に起きたと報告しています。
楽観的な話のほうが受け入れやすい一方で、こうしたリスク管理を促す研究も非常に重要です。
