LLMはシステムプロンプトをどれほど守れるか

本記事では、皆さんご存じの「システムプロンプト」に関する新しい研究を紹介します。

研究者たちは、LLMがシステムプロンプトにどれくらい正確に従えるかを評価し、さらにその性能を高める方法を探しています。

背景

「システムプロンプト」とは、LLMアプリケーション（例えばChatGPTなど）の動作を制御するための特別な指示文です。もともとはOpenAIのGPT APIで小さな機能として導入されましたが、現在ではモデルの安全性や品質を保つために欠かせない重要な要素となっています。

主に次のような目的で使われています。

• 不適切なコンテンツや悪意のある利用を防ぐ
• LLMが従うべきルールやガイドラインを設定する
• LLMが特定の性格やキャラクターとして振る舞えるようにする

一言でいうと、「ユーザーからの指示よりも優先される、特別な命令」として働きます。

しかし指示に従うのは、LLMが学習を通して身につけている振る舞いのため、完全に確実ではありません。そのため、意図しない誤りが起きたり、悪意ある攻撃によってセキュリティが破られる可能性もあります。

現在のLLMはシステムプロンプトにある程度従うことができますが、未知の状況や複雑な条件に直面した際にうまく対応できるかはまだよくわかっていません。また、従来の評価方法は「プロンプト攻撃」や「ロールプレイ」のように、限定的なケースでしか性能を検証できていません。

さらに、これまでの研究では質の高いデータが不足していたため、「なぜLLMがプロンプトに従えるのか」、あるいは「どうすればもっと正確に従えるようになるのか」を詳しく調査することが難しかったという経緯があります。

そこで研究者たちは今回、実際に使われている本物のシステムプロンプトを多数収集し、LLMが複数の制約を同時に扱えるかどうかを総合的に評価しました。そのうえで、LLMがシステムプロンプトにもっと忠実に従えるようになる方法を探っています。

以下では、その研究成果を詳しく紹介していきます。