LLMの自信過剰は演技？役割と自信度の関係を解明

「あなたは〇〇の専門家です」といった指示をするとLLMは自信過剰になるので注意しなければいけないとのこと。
一方で「あなたは素人です」と伝えると自信なさげになります。
しかし両者で正答率は変わらず、あくまで“演技”として自信の度合いを調整しているにすぎません。

また、演じさせる性別や人種、年齢などに応じても自信は上下するそうです。
たとえば「中年男性」では自信が高まり、「女性の高齢者」は自信が低くなる傾向があります。

もし何の役割も与えない場合、LLMは問題の難易度によらず基本的には自信満々、さらに自信と正解率は関係ないことが多いようです。

もしLLMの過信を抑え、難しい問題に対しては慎重な態度をとってほしい場合は、「回答」と「自信の度合い」を分けて尋ねるのがとても有効であるとのことです。