生成AIシステムの100事例から得たセキュリティ評価の教訓

本記事では、マイクロソフトの研究チームによる「生成AIシステムのレッドチーミング」に関する包括的な研究を紹介します。レッドチーミングとは、システムの脆弱性を積極的に探す手法の一つです。

生成AIの導入が加速する中、レッドチーミングはシステムの安全性とセキュリティの評価手法として注目を集めていますが、その実施方法には多くの課題が残されています。

そこで今回研究チームは100以上の生成AIプロダクトへのレッドチーミングを通じて得られた知見を体系化し、効果的な評価手法の確立を目指しました。

背景

生成AIシステムは急速に様々な分野で導入が進められています。導入が進むにつれ、生成AIシステムの安全性やセキュリティを評価する手法として「レッドチーミング」が重要視されるようになりました。レッドチーミングをもう少し詳しく説明すると、システムに対して意図的に攻撃を仕掛けることで、潜在的な脆弱性や問題点を発見する取り組みのことを指します。

従来のレッドチーミングは、システムレベルのセキュリティ評価が中心でしたが、生成AIの登場により、新たな課題が浮き彫りになってきました。生成AIは従来のソフトウェアとは異なり、予測不可能な出力を生成する可能性があり、また人間とのやり取りを通じて様々なタスクを実行できるため、評価すべき範囲が大幅に広がっているのです。

なお、ここで言う生成AIは、「学習データをもとに新たなデータを生み出すモデル」を意味しています。そのため生成AIシステムは、例えばLLMを中心に据えたチャットアプリケーションなどを指します。

生成AIを搭載したアプリケーションやサービスの数は爆発的に増加しており、手動での評価だけでは対応が困難になってきました。また、生成AIの能力が向上するにつれ、新たなリスクや脆弱性のカテゴリーが次々と発見されています。

加えて、生成AIシステムの安全性評価には、技術的な側面だけでなく、倫理的・社会的な影響も考慮する必要性が認識されるようになりました。有害なコンテンツの生成や、個人情報の漏洩、差別的なバイアスなど、多岐にわたる問題に対処することが求められています。

そのような課題認識のもと、今回マイクロソフトの研究者らは100以上の生成AIプロダクトに対してレッドチーミングを実施し、その経験から得られた知見と、効果的なレッドチーミングの方法論を体系化する研究に取り組みました。