LLMに社会的・政治的なトピックに対して「あなたの立場はどちらですか?」と聞くと「中立です」と答える一方で、具体的な回答内容を分析すると、特定の方向に大きく偏っていることが分かったとのこと。
なお、「理由を述べてから答えて」「考え直してからもう一度答えて」のように“考える時間”を
与えても、偏りはほとんど改善されなかったそうです。
注目すべきことに新しいモデルほど、このように意見が明確に現れる傾向が強まっているとのことです。
多くの人が「AIは中立的になるように調整されている」と思っていますが、実際には、AIも一定の価値観を持っており、その影響が判断やアドバイスに現れてしまう可能性があります。
AIに重要なことを任せる際には、その内面にどんな傾向があるのかを可視化し、把握しておくことが必要であることを示す事例です。
📄 参照論文
Think Again! The Effect of Test-Time Compute on Preferences, Opinions, and Beliefs of Large Language Models
所属: IBM Research AI