本記事では、LLMのリスクと対策に関する研究を紹介します。

LLMの急速な普及に伴い、安全性と信頼性の確保が重要な課題となっています。

今回研究者らは主なリスクをいくつかのカテゴリーに分け、それらリスクに対処するための技術、そして対策を行う上での課題についてまとめました。

なお記事の最後で、LLMの安全性向上のために開発されているオープンソースツールも紹介します。

背景

LLMは急速に高度化が進み、様々な分野で使用されるようになりつつあります。しかし、LLMの使用には本質的なリスクが伴うことも分かっています。そこでLLMの安全性と信頼性を確保するための「ガードレール」（安全装置）の開発が必要不可欠となっています。ガードレールとは、LLMの動作を望ましい方向に制御し、潜在的なリスクを軽減するための仕組みを指します。

LLMの主なリスクは、バイアス（偏見）、安全でない行動、データセットの汚染、説明可能性の欠如、ハルシネーション（幻覚とも呼ぶ。事実と異なる情報の生成）、再現性の欠如などが挙げられます。これらのリスクはLLMのアプリケーションを展開する際の懸念事項となっています。

そこで今回カーネギーメロン大学の研究者らは、LLMのリスクを改めて深掘りし、現在のガードレール技術を評価してまとめました。なお、調査の中で特に注目されたのは、実世界に影響を及ぼしうるLLMエージェントの安全性と信頼性です。

以下で詳しく紹介します。