「あなたは〇〇です」などのペルソナ設定を与えても、事実に基づく質問への回答精度は向上しないとの主張

LLMと人間のやり取りにおいて、プロンプトが重要な役割を果たしています。多くのシステムでは、システムプロンプトにLLMの役割を定義することが一般的です。例えば、ChatGPTは「あなたは役に立つアシスタントです」という設定をデフォルトのシステムプロンプトに含めています。

しかし、このようなペルソナ（役割設定）をシステムプロンプトに追加することが、モデルの性能にどのような影響を与えるのかは、これまで詳しくは明らかにされてきませんでした。特に、客観的な事実が求められるタスクにおいては。

そこで研究者らは、ペルソナがLLMの性能に与える影響を体系的に評価することにしました。そして以下のような取り組みを行いました。

1. 6種類の対人関係と8つの専門分野をカバーする162の役割のリストを作成
2. 4つの人気のあるオープンソースLLMファミリーを使用
3. 2,410の事実に基づく質問を用意

このようにして、ペルソナを追加することがモデルの性能にどのような影響を与えるのかを詳細に分析しました。また、ペルソナの性別、種類、専門分野が予測精度にどのように影響するかも調査しました。

さらに、各質問に最適なペルソナを自動的に特定することが可能かどうかを探るため、いくつかのペルソナ検索戦略も試してみました。

以下で実験内容や実験結果を紹介します。