LLMはもっともらしい偽情報に弱い

今のAIはWikipedia風や科学論文風に嘘を書かれると鵜呑みにしやすい一方で、ブログのようなカジュアルな文体には比較的強いことが明らかになったとのこと。

なお、嘘を見抜く能力を大きく向上させる方法もあり、その一つは「情報を比較させること」だそうです。また、
古くて時代遅れの情報には比較的敏感に反応できるようです。

要するに、現在のLLMは見た目がもっともらしい偽情報に弱いものの、比較を通じて嘘を見抜く力を持っています。適切な工夫をすれば、この弱点は克服可能であることが示されました。

実験では、1000万件以上の偽情報を人工的に作成し、さまざまなLLMをテストしています。