LLMに「あなたは○○です」と役を与えてからデータ分析させると、同じデータ・同じ仮説を与えたとしても正反対の結論を導いてしまうことがあると改めて実験で明らかに。
データ分析タスクにおいてペルソナ設定を与える際にはこうしたことが起きることを前提にした方がよさそうです。
人間でも昔から知られていた問題でした。
「仮説を支持する」か「支持しない」かという二値の判定でさえ、ペルソナの指定次第でひっくり返ります。
なぜこんなことが起きるかというと、データ分析には前処理、変数の作り方、モデルの選択、誤差の計算方法など無数の「妥当な選択肢」があり、その組み合わせ次第で結論が変わるためです。
AWSとカーネギーメロン大学の研究者たちによる報告です。
