LLMの普及が急速に進む中、プロンプトと応答を通して情報漏洩や不正操作が行われるプロンプトインジェクションが発生するリスクが指摘されています。

そこで今回研究者らは具体的な防御手法を検討し、実践的な知見をまとめました。

背景

ChatGPTをはじめとするLLMを活用したチャットボットが急速に広がっています。企業のホームページに設置されるものから、個人が社内や友人間で気軽に使うものまで、その用途は多岐にわたっています。しかし、こうしたチャットボットにはセキュリティリスクも存在します。

例えば、悪意のある指示（プロンプト）をボットに入力すると、本来は許されないはずの操作が実行されてしまうケースがあります。この「プロンプトインジェクション攻撃」により、企業の機密データが外部に漏洩したり、不特定多数にスパムメールが大量送信されたりする可能性があります。実際、すでに多くの場面でこうした攻撃が報告されているのが現状です。

また、一般の人々がチャットボットを手軽に設置し、広く公開する機会が増えている中で、これらのリスクへの認識は十分に広まっていません。多くの利用者は利便性だけに目を向け、安全性への配慮が後回しになっています。

このような背景の中、研究者らはLLMを安全に活用しながら、プロンプトインジェクション攻撃を防ぐ仕組みを構築する研究に取り組みました。その成果として4つの方法が整理されました。

モデルを改良するのではなく、その周辺の設計でどうにかするといった話です。

以下で詳しく紹介します。