LLMの過剰な自信と批判への過敏性

Googleなどの研究者らによると、LLMは最初出した答えに対して頑固なまでに自信を持つ一方で、反対されたとたん、極端に自信を失う傾向があるとのこと。

また、自分の答えである痕跡が薄れた頃に「その答えは別のAIのものだったよ」と伝えると、そうしたバイアスが消失するそう。

人間からすると 不思議な行動パターンです。

なお、自分の答えに対する反対意見を受け取ったときのLLMの反応は、過敏でした。
本来なら、自分の確信度と相手の信頼性を適切にバランスさせて意見を更新すべきところ、モデルは反対意見に対して約2〜3倍も過敏に反応し、必要以上に自信を失う様子が観察されたそうです。

興味深いことに、自分の意見を支持するアドバイスに対しては、ほぼ適切な重み付けをしていました。
つまり、一致する情報を過大評価することはなく、一方で矛盾する情報に対して異常に敏感なのだそうです。