LLMペルソナプロンプトの細かい設計が出力に与える影響を詳しく検証

本記事では、LLMに人物像（ペルソナ）を与えるプロンプトの書き方が、出力内容にどのような影響を与えるのかを検証した研究を紹介します。

単に属性を明示するのか、名前や会話形式で間接的に伝えるのかといった違いによって、回答の自然さや偏りの程度が変わることが示されています。また、LLMのモデルサイズや系列によっても出力傾向に差が生じる点も明らかになりました。

ペルソナプロンプト設計を考えるうえで、実践的な示唆を与える内容になっています。

背景

LLMに「あなたは○○な人物です」といった指示を与えて、特定の視点から回答させる“ペルソナプロンプト”には課題もあります。

例えば、同じような意図で書かれたプロンプトでも、表現が少し違うだけで、出力される内容が大きく変わってしまうことがあることです。

人間の意見をシミュレートする目的でLLMを使う事例が増えています。その中で、ペルソナプロンプトは重要な役割を担っていますが、プロンプトの書き方に統一されたルールはありません。

たとえば、人種や民族を表す語にしても複数の書き方があり、人物設定の伝え方にもストレートな表現もあれば、丁寧な書き方もあります。どの表現がどう影響するのかは、これまで明確に整理されていませんでした。

そこで本記事では、ペルソナプロンプトの書き方の違いがLLMのふるまいにどのような影響を与えるのかを、わかりやすく比較した調査を取り上げます。役割の与え方と属性情報の書き方という2つの観点からパターンを用意し、自由記述式と選択式の2種類のタスクで検証が行われています。どんな表現がLLMのふるまいに影響を与えるのかを、丁寧に見ていきます。