売上データの分析をAIに頼むとき、プロンプトの冒頭に「あなたは優秀なデータサイエンティストです」と添える。良い回答を引き出すための定番テクニックとして広まっており、プロンプト集やSNSの投稿でもよく見かける一文です。
ところが最近、こうしたペルソナ付きプロンプトの効果を大規模に検証した研究が相次いで発表されました。本記事では、その中から4本の研究を取り上げ、「ペルソナ付与と実務タスクの精度」の関係を整理します。
ある実験では、同じデータと同じ仮説をAIアナリストに渡したにもかかわらず、プロンプトに添えた「立場」の違いだけで結論が正反対に割れました。しかも、どちらの分析にも方法論的な誤りは見当たりません。
本記事では、「あなたは専門家です」のようなプロンプトをLLMに与えることの負の側面をしっかり分析した複数の研究を横断的に読んでいきます。
立場を変えるだけで結論が反転する
まず前提を整理します。人間の統計学者にデータ分析を依頼した場合、分析手法の選び方や前処理の違いによって結果がばらつくことは古くから知られています。「分岐する小道の庭」と呼ばれるこの現象を、人間ではなくLLMベースのAIアナリストで再現した実験が行われました。
実験の仕組みはシンプルです。4種類のLLMに同じデータセットと同じ仮説を渡し、約5,000回の独立した分析を実行させます。ただし、AIアナリストごとにプロンプトの「立場」を変えます。「この仮説はおそらく正しいだろう」と前置きする場合もあれば、「この仮説はおそらく間違っているだろう」と前置きする場合もあります。
結果は明快でした。懐疑的な立場を与えられたアナリストと、仮説を支持する方向に誘導されたアナリストとの間で、仮説支持率の差は最大66パーセントポイントに達しています。
ここで重要なのは、それぞれの分析が「もっともらしい」ものだったという点です。品質チェック用に別のLLMを監査役として配置し、各分析をスクリーニングしても、バラつきは消えませんでした。変数の選び方、標準誤差（推定値のブレ幅）の計算方法、外れ値の扱い方など、個々の判断は合理的な範囲に収まっています。とはいえ、結論は反転します。
つまり、プロンプトに「ちょっとした立場」を書き添えるだけで、出力される結論の分布が系統的にずれる。しかも、そのどれもが「間違い」とは言い切れません。
そもそもペルソナで精度は上がるのか
結論が振れるという話を聞くと、次に浮かぶ疑問は「そもそもペルソナの付与はLLMの出力を良くしているのか」です。
162種類のペルソナを使った大規模検証では、事実を問うタスクでペルソナが精度を向上させる効果は確認されませんでした。対象は4つのオープンソースLLMファミリー、2,410問の事実問題です。結果は一貫しており、ペルソナを付けない状態と比べて、付けた状態のほうが精度がわずかに下がる傾向がありました。
参照：https://arxiv.org/abs/2311.10054
しかも、どのペルソナが良い結果を出すかは予測できません。自動的に最適なペルソナを選ぶ手法もいくつか試されましたが、質問ごとに効果がまちまちで、信頼できるパターンは見つかりませんでした。
大学院レベルの難問（科学、工学、法学）を6つのモデルで検証した別の研究でも、同じ結論が出ています。物理の問題に「あなたは物理学の世界的専門家です」と付けても、正答率には有意な差がありませんでした。逆に「あなたは素人です」のような低知識ペルソナは精度を明確に下げます。
参照：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5879722
実務者への助言としては、「ペルソナの工夫に時間を使うよりも、タスクの手順や出力形式を具体的に指示したほうが効果的」という結論が示されています。
精度が下がるメカニズム
では、なぜペルソナを付けると精度が落ちるのでしょうか。
多肢選択式の知識テスト（MMLU）で検証した研究が、一つの仮説を提示しています。エキスパートペルソナを付けるとベースモデルに比べて精度が一貫して低下し、全体で約3.6ポイント下がりました。一方で、文章の構造やトーン、安全性への配慮といった「振る舞い」の面では、ペルソナが有効に機能しています。
参照：https://arxiv.org/abs/2603.18507
この非対称性からは、次のような構造が浮かび上がります。「あなたは専門家です」という指示を受け取ったモデルは、専門家らしい振る舞いの再現に計算資源を振り分けます。回答のトーンを整え、構成を丁寧にし、注意深い言い回しを選ぶ。その分だけ、正解を導き出すための処理が後退する。ペルソナは新しい知識を注入するのではなく、既存の知識へのアクセスを邪魔しているとも考えられます。
推論タスクでも似た現象が起きています。12のベンチマークを使った検証では、ペルソナ付与によって7つのデータセットで性能低下が確認されました。たとえば、土木工学の文脈を含む数学の問題に「Civil Engineer」というペルソナが割り当てられた結果、ペルソナなしなら正解できた問題が不正解に転じたケースが約14%に達しています。ペルソナがモデルの注意を引きつけ、本来の推論から逸らしてしまう構造です。
参照：https://arxiv.org/abs/2408.08631
プロンプトをどう書き換えるか
ここまでの知見を整理すると、ペルソナの使い分けについて実務的な指針が見えてきます。
まず、分析や計算、事実の正確さが求められるタスクでは、ペルソナを省いたほうが安全です。「あなたは優秀なデータサイエンティストです」の代わりに、「このデータセットで以下の仮説を検定してください。回帰分析を用い、信頼区間とp値を報告してください」のように手順と出力形式を具体的に書くアプローチが有効です。
一方、トーンの調整や文体の統一、安全性への配慮といった用途では、ペルソナは依然として機能します。「初心者向けに説明してください」「フォーマルなビジネス文書として書いてください」のような指示は、精度を損なわずにスタイルを制御できます。
そして、AIの分析結果を意思決定に使う場合は、プロンプトのフレーミング（どんな立場・前提をプロンプトに含めたか）が結論に影響しうることを織り込んでおく必要があります。同じ分析をフレーミングを変えて複数回実行し、結論がどの程度安定しているかを確認するだけでも、ペルソナの影響を検知する手がかりになります。
まとめ
いくつかの留意点があります。ベンチマーク上の精度低下が、あらゆる実務タスクで同じ程度に現れるとは限りません。創造的な文章作成やロールプレイを伴う対話では、ペルソナの付与が質の向上に寄与する場面もあります。
ペルソナの「粒度」も関係します。「あなたは専門家です」のような粗い指示と、プロジェクトの具体的な要件を詳細に記述した指示とでは、効果が異なる可能性があります。個々の質問に合わせて動的にペルソナを生成したほうが、一律に割り当てるよりも安定した結果が出るという報告もあります。
今後は「ペルソナが有効な場面でだけペルソナを適用する」自動ルーティングの仕組みが実用化の焦点になりそうです。あるタスクがスタイル調整を求めているのか、事実の正確さを求めているのかをモデル自身が判断し、ペルソナの適用を切り替える。そうした仕組みの提案もすでに始まっています。
「専門家を演じさせること」と「正確な出力を引き出すこと」は同じではありません。その区別を意識するだけで、プロンプトの書き方は変わります。
本記事の関連研究
