LLMの過信が人間のバイアスを増幅

人間も過信する傾向はありますが、AIほど極端ではありません。
興味深いことに、LLMと人間は「完全に自信がある場合」の正確さは似ていますが、自信が下がると違いが現れるそうです。
つまり人間は自信が下がると言いすぎも減りますが、LLMはむしろ言いすぎるようになるとのことです。

LLMは自分の知識の限界を認識するのが苦手だということかもしれません。
実験によると、LLMは自分の回答の正しさを実際より20～60%も高く見積もっているそうです。

なお、LLMの回答を見た人間は過信が強くなってしまうことも明らかになっています。もともと自信がなかった人ほどこの効果が強く現れるとのこと。
要するに人々はLLMを活用することで（回答の正確さはたしかに向上するものの）、いわば気が大きくなってしまいます。

AIを活用するときに冷静に評価しながら使うことが重要であると改めて認識したほうがよさそうです。