LLMは複雑な意図理解が苦手？

LLMが「相手は私のために言っているのか、それとも自己の利益のためか」を見抜けるかを調べたところ、

シンプルな状況では優れた判断ができるものの、込み入った状況では能力が大幅に低下することがわかりました。
「他者の目的を理解」することにLLMを利用したい人は注意したほうがよさそうです。

また、面白いことに、推論能力が強くなるよう開発されたモデルは、この能力の性能が悪い傾向にあるそうです。

ただし、指示に「相手の意図と利益を考えてください」と加えると、性能が改善されるようです。
とはいえ、まだ信頼できるレベルには到達していないと考えたほうがよいかもしれません。

プリンストン大学とAnthropicの研究者たちによる報告です。論文はAI分野のトップカンファレンスNeurIPS 2025に採択されています。