「あなたは専門家です」が精度を下げることもある。LLMへのペルソナ付与が裏目に出るとき

売上データの分析をAIに頼むとき、プロンプトの冒頭に「あなたは優秀なデータサイエンティストです」と添える。良い回答を引き出すための定番テクニックとして広まっており、プロンプト集やSNSの投稿でもよく見かける一文です。

ところが最近、こうしたペルソナ付きプロンプトの効果を大規模に検証した研究が相次いで発表されました。本記事では、その中から4本の研究を取り上げ、「ペルソナ付与と実務タスクの精度」の関係を整理します。

ある実験では、同じデータと同じ仮説をAIアナリストに渡したにもかかわらず、プロンプトに添えた「立場」の違いだけで結論が正反対に割れました。しかも、どちらの分析にも方法論的な誤りは見当たりません。

本記事では、「あなたは専門家です」のようなプロンプトをLLMに与えることの負の側面をしっかり分析した複数の研究を横断的に読んでいきます。

立場を変えるだけで結論が反転する

まず前提を整理します。人間の統計学者にデータ分析を依頼した場合、分析手法の選び方や前処理の違いによって結果がばらつくことは古くから知られています。「分岐する小道の庭」と呼ばれるこの現象を、人間ではなくLLMベースのAIアナリストで再現した実験が行われました。