知らない分野ほど自信満々になってしまう現象はプログラミング中のLLMにも起きる？

本記事では、LLMにプログラミングの相談をしたときに、回答をどれほど信頼できるのかをユニークな角度から考察した研究を紹介します。研究者らは「ダニング=クルーガー効果」、つまり知らない分野ほど人間は自信満々になってしまう心理現象が、LLMでも起こるのではないかと考えました。

背景

LLMと人間の関係が深まる中で、ある重要な問いが浮上してきます。それは「LLMは人間と同じような認知バイアスを持つのだろうか」という問題です。認知バイアスとは、人間が物事を判断する際に無意識のうちに陥る思考の偏りや歪みのことで、心理学の分野で長年研究されてきました。このバイアスがLLMにも現れるとすれば、それはLLMの信頼性にどのような影響を及ぼすのでしょうか。

心理学で広く知られる「ダニング=クルーガー効果」と呼ばれる現象があります。これは、能力が低い人ほど自分の能力を過大評価してしまい、逆に能力が高い人は自分を過小評価する傾向があるという、ある意味皮肉な人間心理のパターンです。簡単に言えば「知らないことを知らない」状態にある人ほど、自信過剰になりやすいということです。自分の行動を振り返ってみると心当たりのある人もいるかもしれません。

実際にLLMと協働する場面を想像してみてください。あなたがプログラムの修正をLLMに依頼したとき、LLMが「これは自信を持って答えられます」と返答してきたとします。しかし、もしそのLLMが不慣れな分野では自信過剰になる傾向があるとしたら、その返答をどこまで信じて良いのか判断が難しくなります。逆に、LLMが得意な分野でも自信なさげに見える場合、実際には高い精度で答えを出せるのに、ユーザーが不安を感じてしまうかもしれません。つまり、LLMの自己評価能力を理解することは、実務上の意思決定にも直結する問題なのです。

このような背景のもと、複数のLLMを用いてコーディングタスクに関する実験が行われました。対象となったのは、さまざまなプログラミング言語にわたる多肢選択式の質問です。モデルがどれだけ正確に答えられるかという「実際の性能」と、モデル自身がどれだけ自信を持って答えているかという「自己評価」を比較する形で分析が進められました。

以下で詳しく見ていきます。