今のAIは、人間が書いた日本語文章の誤りを見抜くのがまだかなり苦手かもしれません。
日経（日本経済新聞社）の研究者らによる実験報告。
彼らが日経の訂正記事に含まれる誤りをAIに検出させたところ、GPT-5.4でも17%前後でした。
類似の誤りパターンを再現した人工データでも52%。
検証した誤りパターンは、漢字の変換ミスや、単位・助数詞の取り違えといった、AIのハルシネーション用ベンチマークにはまず出てこない、人間特有のクセに基づくものです。
ただし、AIの得意・不得意も面白いです。
文脈だけで気づける誤りや、常識から大きく外れた桁・単位のミスは得意。
例えば、世界一背が高いキリンの身長が『5.7m』のところ『5.7km』と書かれていれば、正確な数字を知らなくても常識でおかしいと気づけます。
逆に苦手なのは、正確な世界知識が要る誤り。たとえば、ある政治家の名前が、同じくらいもっともらしい別の政治家の名前にすり替わっているようなケースです。
このように、人間製の日本語文章をAIにレビューさせるときの能力限界にも注目すべきです。
（AIに文章を書かせるときに発生する誤りばかりに言及されがち）
ただし、論文では触れられていませんが、あらかじめこうした誤りパターンに気を配るよう指示すればAIの能力が向上する可能性はありそうです。
