次回の更新記事:【論文著者監修・コメント】AIエージェントへの人間…(公開予定日:2026年07月27日)
AIDB Daily Papers

捏造された確信:LLMの記憶統合が伝聞を事実へと変容させるメカニズム

原題: Manufactured Confidence: How Memory Consolidation Turns Hearsay into Confident Facts
著者: Alex Kwon
公開日: 2026-06-28 | 分野: LLM セキュリティ AI cs.CL cs.AI cs.CR

※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。

ポイント

  • LLMエージェントの記憶システムが、曖昧な発言を断定的な事実として再構成し、誤った判断を誘発する現象を調査した。
  • 記憶の書き換え過程で表現の確信度が過大評価されるため、攻撃者がいなくてもシステムが偽情報を事実として信頼してしまう点が新しい。
  • 断定的な表現が信頼を強める一方で、曖昧な表現を保持する記憶管理や、情報の多重ソースによる検証が対策として有効であることを示した。

Abstract

LLM agents carry conclusions across steps and sessions in compressed memory, and memory products (e.g., mem0, LangMem) rewrite conversation into stored "facts" that later steps trust. We show this rewriting manufactures confidence: across our constructed agent settings, a casual, hedged remark becomes a confident, dated assertion the agent then obeys like a verified fact, granting every above-clearance request it faces. No attacker is needed: a role that was true once and never corrected is stored as a flat fact and acted on like a deliberate injection. We then isolate what the agent responds to. It is not the source: attributed, unattributed, and even forged "system of record" claims all grant alike. It is the confidence of the phrasing. A hedge is discounted, a flat assertion is obeyed, and this holds with no special keyword. Not all hedges are equal, though: the evidential register is the least-discounted, with "reportedly" obeyed like a flat assertion on most models. The obvious fixes fail. A passive "unverified" tag is ignored, and an active "do not trust this" instruction escalates even correct memory, so it is safe only by refusing to decide. The real fix lives in the store: keep the tentative phrasing rather than upgrade it. But that is hygiene, not a defense against an attacker who can simply write a confident lie. The deployable lesson is narrower and constructive: a single load-bearing memory is the hazard, and one redundant source restores correct decisions. We release the harness and demonstrations.

Paper AI Chat

この論文のPDF全文を対象にAIに質問できます。

質問の例:

AIチャット機能を利用するには、ログインまたは会員登録(無料)が必要です。

会員登録 / ログイン

関連するAIDB記事