次回の更新記事:誤解を招きやすいAI用語6選、技術語なのに揺れる意味(公開予定日:2026年04月30日)
AIDB Daily Papers

LLMのメタ認知:自信度スケールの設計が明らかにするもの

原題: Rescaling Confidence: What Scale Design Reveals About LLM Metacognition
著者: Yuyang Dai
公開日: 2026-03-10 | 分野: LLM 機械学習 AI 評価 言語 メタ認知

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • LLMが出力する自信度スケールに着目し、その設計がメタ認知に与える影響を検証しました。
  • 従来の0-100スケールは離散的な値に集中しやすく、メタ認知の精度を低下させる可能性がありました。
  • 0-20スケールがメタ認知効率を向上させ、スケール設計がLLMの不確実性評価に影響を与えることを発見しました。

Abstract

Verbalized confidence, in which LLMs report a numerical certainty score, is widely used to estimate uncertainty in black-box settings, yet the confidence scale itself (typically 0--100) is rarely examined. We show that this design choice is not neutral. Across six LLMs and three datasets, verbalized confidence is heavily discretized, with more than 78% of responses concentrating on just three round-number values. To investigate this phenomenon, we systematically manipulate confidence scales along three dimensions: granularity, boundary placement, and range regularity, and evaluate metacognitive sensitivity using meta-d'. We find that a 0--20 scale consistently improves metacognitive efficiency over the standard 0--100 format, while boundary compression degrades performance and round-number preferences persist even under irregular ranges. These results demonstrate that confidence scale design directly affects the quality of verbalized uncertainty and should be treated as a first-class experimental variable in LLM evaluation.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事