LLMは学習データに含まれる社会的な価値観に基づく意見の偏り（バイアス）を内在しているという問題が指摘されています。
今回、研究者らは、LLM自身に質問することでバイアスを直接的に評価する新しいアプローチを提案しました。このアプローチでは、LLMが持つ社会的な認識（ステレオタイプや偏見など）を数値化することで、バイアスをより効率的に測定できると考えられています。
背景
LLMは人間の言語や社会的規範を再現するように設計されているため、現実世界のバイアスも反映していることが明らかになってきました。つまり、LLMは人間社会に存在する偏見や差別的な態度を再現してしまう可能性があるのです。
LLMにおけるバイアスを明らかにするのは実用の視点においても有意義です。ユーザーのさまざまな質問に対して、文化に基づく常識で応える場面は少なくないためです。
このような問題を受けて、LLMに内在するバイアスを測定し、定量化しようとする様々な研究が行われてきました。その中でも最もシンプルなアプローチの一つが、質問応答（QA）形式を用いる方法です。固定的なステレオタイプに対して、モデルがどの程度一致するかを調べます。ステレオタイプに沿った選択肢と、そうでない選択肢の間で、モデルがどちらを選ぶかを見るのです。
しかし、この方法には限界があります。単純なQAベースの評価では、個人によって物事の捉え方が異なるという点が十分に考慮されていないのです。例えば、ある人にとってはステレオタイプ（旧態依然）と感じられる表現でも、別の人にとって自然な表現として受け取られる可能性があります。
そのため、LLMの社会的認識を定量化する新しい方法が求められています。そこで今回研究者らは、LLMが様々な視点から異なる対象に対してどのようなバイアスを持っているのか、実に多様なペルソナを与えて尋ねるアプローチを尋ねました。
