この記事では、LLMを使ったアプリケーションが普及する中で浮上している安全性の課題と、その課題に取り組むための「レッドチーミング」という手法を紹介します。

LLMは便利な反面、悪意ある攻撃や意図しない誤用に脆弱であることが分かってきました。そうした脆弱性を事前に特定するため、多くの企業がレッドチーミングを積極的に採用し始めています。

背景

LLMの普及に伴い、これを組み込んだ「LLMアプリケーション」の活用が多様な分野で急速に広がっています。顧客サービスを担うチャットボットや、外部の情報データベースと連携して複雑な問い合わせに対応する検索システムなど、LLM単体ではなく、その周辺のソフトウェアやデータベースと統合された実際のアプリケーションが登場しています。

LLMをアプリケーション化することによって、単体のモデルだけでは不可能だった複雑なタスク処理や、リアルタイムでの情報連携が可能になりましたが、同時に新たな安全性やセキュリティの課題も浮上しています。たとえば、LLMアプリケーションでは、外部データベースやAPIと連携することが多いため、悪意のあるユーザーがその接続部分を狙った攻撃（データベースへのデータ混入攻撃や、外部API経由でのプロンプト注入攻撃など）を仕掛けやすくなっています。

さらに、LLMアプリケーションの多くは、複数ターンにわたる対話を行うことから、単一の入力では明らかにならない複雑な形の脆弱性が存在します。例えば、一見無害な質問を重ねるうちに、徐々に有害な情報や機密情報を引き出すよう誘導されることがあります。

従来型の単純な防御手法だけでは、こうした複合的な攻撃に十分対応できないことが明らかになっています。

こうした状況を踏まえ、従来のようにLLMを単体として捉えるだけでなく、実際のアプリケーションとしての利用環境を想定した上での安全対策が求められています。そこで重要な役割を果たすのが「レッドチーミング」と呼ばれる手法です。

これは、攻撃者の立場からシステム全体を評価し、潜在的な脆弱性を明らかにすることで、実際の運用環境において起こり得るリスクを事前に洗い出すことを目的としています。

このような背景のもと、研究者らは、LLM単体だけでなく、それを含むアプリケーション全体としての安全性を評価し、高めるためのレッドチーミング手法の体系化に取り組みました。

以下で詳しく紹介します。