「なぜそんなことを言ったんですか」とLLMに問いただしても納得いく答えが返ってこなくて辟易してしまうユーザーは後を絶ちません。
じつは、LLMの出力について「なぜそうなったのか」を後から説明すること自体が、原理的に難しいとのこと（LLM自身にも、外から分析する側にも）。
良い説明とは 「それが成り立っていなければ結果も変わっていたはずの事実」であると同時に、「聞き手がもともと低い確率しか置いていなかった（＝意外に感じる）事実」という特徴があります。
そのため良い説明は相手の前提次第で変わります。
例えば「まだ外に出られない」理由について話すとき、すでに窓の外の雨を見ている人に「雨だから」と言っても良い説明にはならず「傘を持っていなかったから」と言う必要があります。
LLMは入力を事実の集合へ分解することは普通しません。そのため、完全な説明可能性が求められる用途では別の技術が必要になるかもしれない、とのこと。
ICML2026ワークショップ採択論文。
この原理を応用して考察するなら、AI生成の文章がピンとこない理由は、読み手であるあなたにとっての前提をシミュレートして説明の仕方を変えたり言葉を選んだりできていないため、かもしれません。
