LLMは「建てていた」を見ると完成したと思い込むバイアス

ミュンヘン大学と東京大学の研究者らによると、今のLLMは「〜していた」という文を見て、「きっと完了したんだろう」と勝手に思い込んでしまうケースが多々あるとのこと。
目標に向かう行為を見ると、その目標が達成されたと決めつけてしまうバイアスがある。

たとえば「大工さんが小屋を建てていたが、嵐で壊れた」と明確に失敗を書いても、LLMは「小屋は建てられた」と答えてしまうことがあります。
文章をちゃんと読んでいないわけではなく「過程」と「結果」の区別はできているのですが、最終的な判断を下す段階で「建てるという行為には完成がつきものだ」という強い思い込みが勝ってしまうのです。

一方で「子どもが走っていた」という文なら、「子どもは走った」と言えます。走るという行為には明確なゴールがないので、少しでも走っていれば「走った」ことになるからです。

この問題を修正しようとプロンプトを工夫すると、今度は逆に慎重になりすぎて、「走っていた」からも「走った」と言えなくなってしまうそうです。
明確な解決策が提示されているわけではなく、こうした癖のようなものが出る可能性があるという報告。