次回の更新記事:「AIっぽくて白ける」現象の正体(公開予定日:2026年05月01日)
AIDB Daily Papers

LLMの推論における表面的なヒューリスティクスが暗黙の制約を無視する問題

原題: The Model Says Walk: How Surface Heuristics Override Implicit Constraints in LLM Reasoning
著者: Yubo Li, Lu Zhang, Tianchong Jiang, Ramayya Krishnan, Rema Padman
公開日: 2026-03-30 | 分野: LLM ベンチマーク 推論 評価 自然言語処理 制約 ヒューリスティクス

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • 大規模言語モデル(LLM)が、表面的な手がかりと暗黙の制約が衝突する際に体系的に失敗する現象を研究した。
  • この問題は、LLMの推論における脆弱性を示しており、制約の推論が知識不足ではなく、ヒューリスティクスに左右されることが重要。
  • 「ヒューリスティック・オーバーライド・ベンチマーク(HOB)」を用いて、様々なモデルでこの現象を検証し、その特性を明らかにした。

Abstract

Large language models systematically fail when a salient surface cue conflicts with an unstated feasibility constraint. We study this through a diagnose-measure-bridge-treat framework. Causal-behavioral analysis of the ``car wash problem'' across six models reveals approximately context-independent sigmoid heuristics: the distance cue exerts 8.7 to 38 times more influence than the goal, and token-level attribution shows patterns more consistent with keyword associations than compositional inference. The Heuristic Override Benchmark (HOB) -- 500 instances spanning 4 heuristic by 5 constraint families with minimal pairs and explicitness gradients -- demonstrates generality across 14 models: under strict evaluation (10/10 correct), no model exceeds 75%, and presence constraints are hardest (44%). A minimal hint (e.g., emphasizing the key object) recovers +15 pp on average, suggesting the failure lies in constraint inference rather than missing knowledge; 12/14 models perform worse when the constraint is removed (up to -39 pp), revealing conservative bias. Parametric probes confirm that the sigmoid pattern generalizes to cost, efficiency, and semantic-similarity heuristics; goal-decomposition prompting recovers +6 to 9 pp by forcing models to enumerate preconditions before answering. Together, these results characterize heuristic override as a systematic reasoning vulnerability and provide a benchmark for measuring progress toward resolving it.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

💬 ディスカッション

ディスカッションに参加するにはログインが必要です。

ログイン / アカウント作成 →

関連するAIDB記事