LLMは「ユーザーが何者か」を察知して、道徳判断をひそかに変えることがあるという報告が出ています。
南アフリカの研究者らによる検証です。
研究者らは、LLMに対してユーザーの職業を「裁判官」「借金取り」「ロビイスト」などをさりげなく（職業的な思考の仕方だけで）伝えたうえで、LLMに「殺人」「嘘」「約束を破る」といった行為の悪さを0〜100点で採点させました。
実験の結果、同じ行為でもユーザーの職業によって点数が体系的に変わりました。
たとえば裁判官と話しているときは全体的に甘く、借金取りと話しているときは厳しくなる傾向が見られたそうです。
「法を破る」の評価では、職業による差が最大36点にも達しました。
なお、点数に差が出るのは解釈の余地がある行為に集中しています。
ユーザーは誰しも複数の役割を同時に持つものです。AIはそれをどう扱うべきか、そもそもバイアスを持つべきか、という問いを投げかける研究です。
なお研究者らは、こうした事象が”あらゆる”モデルで同様に起こるかは分からない、と慎重な姿勢も持っています。
