LLMの「自信」と「能力」におけるズレの全体像

LLMの出力を読んでいて、ふと気になることはないでしょうか。間違っている回答も、合っている回答も、同じトーンで返ってくる。根拠があいまいでも、言い切りの強さは変わりません。最近、複数の研究チームがこの「自信の均一さ」の正体に迫りました。

「もっともらしさ」しか手がかりがない

LLMはいま、調べものや文書作成にとどまらず、コードレビュー、法務チェック、投資判断の下調べなど、仕事の「判断材料づくり」に深く入り込んでいます。ところが、その出力の信頼度を測る手がかりは、多くの場合「もっともらしく聞こえるかどうか」しかありません。

たとえば、正答率3割のモデルも、7割のモデルも、自己申告の自信度は90%だったりします。人間なら自分の不確かさに応じて自信を調節できますが、LLMにはそれができない。しかもこの過信は、LLMの助言を受けた人間にも伝染します。正答率は上がるのに、判断に対する過信が2倍以上に膨れ上がる。「AIのおかげで正解が増えた」という見かけの成功の裏で、判断の質がひそかに劣化しているかもしれません。

今回取り上げる7本の研究は、行動経済学、心理学、神経科学的な解釈可能性、心理測定学と、それぞれ異なる角度からこの問題を解剖しています。見えてきたのは、モデルを大きくしても、プロンプトで「自信を持て」と言っても解決しない構造的な問題です。しかし、プロンプト設計の工夫で過信を最大58%抑える手法も提案されています。