LLMアプリが安全に動くという思い込み　外部から守るセキュリティ設計

本記事では、LLMアプリにおいて、セキュリティ上の懸念にどう対応するかを検討した研究を紹介します。

なかでもアプリの説明や出力に仕込まれた誘導によってLLMの判断や実行内容が変わってしまうリスクにとくに注目します。対策として提案されているのは、LLMの「計画」とアプリの「実行」を明確に分離するという設計方針です。

アプリ連携を視野に入れてLLMを活用する際に、どこまで信頼し、どこに境界を引くかを考えるヒントになる内容です。

背景

LLMを使ったアプリが増えてきました。たとえば、チャット形式で「レストランを予約して」と入力すれば、LLMが必要な外部アプリを呼び出して、予約を完了してくれる。そんな使い方が現実になりつつあります。LLMが仲介役となって、ユーザーとツールのやりとりをなめらかにつなげてくれるわけです。

こうした仕組みでは、LLMが「次に何をすべきか」をその都度考え（計画）、実際にアプリを動かす（実行）というプロセスを繰り返します。途中の結果を見て次の行動を決めていくため、ある程度複雑なタスクでも柔軟に対応できるのが特徴です。

ただ、その柔軟さの裏側には見過ごせないリスクもあります。たとえば、ユーザーの端末に問題のあるアプリやプログラムが混ざっていた場合、LLMの判断に影響を与え、実行の流れをおかしくしたり、必要な処理を止めたり、意図せずプライバシー情報を含んだ処理が走ってしまったりといった問題が起きかねません。
実際に、こうした攻撃は「計画内容をねじ曲げる」「実行を途中で止める」「秘密情報を外部に流す」といったかたちで表面化してきています。

これまでにもいくつかの防御策が提案されてきましたが、多くは「アプリの出力は信頼できる」という前提に立っており、アプリのふりをして静かに悪さをするような攻撃までは想定されていません。

そのため、LLMとアプリの連携をもっと安心して使えるようにするには、「柔軟な連携」だけでなく「強固な境界線」についても、あらためて考え直す必要が出てきています。

以下で詳しく説明します。