「GPTの書いた文章」と「人間の書いた文章」、信頼されやすいのはどっち?
実験の結果、(今のところ)差はないことが判明しました。研究者らはメディアリテラシーの強化を推奨しています。
○ Martin Huschens et al. Do You Trust ChatGPT? — Perceived Credibility of Human and AI-Generated Content
LLMが生成する文章にはハルシネーションやバイアスが含まれる可能性があるにも関わらず、生成された文章をそのままブログなどに転載してしまう人々が増えています。
現代の新しい現象に伴うリスクを調査すべく、研究者らは数百人規模の実験を行いました。
■実験デザイン
① 606人を対象にオンライン調査を行った
② 人間とGPTの生成する文章を混在させて信頼性の印象を測定した
③トピックは4つ(アカデミー賞、カナダ、マルウェア、米国上院)
④ テキスト形式は3つ(ChatGPT形式, プレーンテキスト形式, Wikipedia形式)
■実験結果
・トピックや形式に関わらず、信頼性は変わらなかった
・AI生成テキストは人間生成テキストよりも明確で魅力的だと回答された
■結果から言えること
・人間がテキストに対する信頼性の根拠にしているのは、「明快さ」や「構造性」など、プレゼンや表面的な要素が大きい可能性がある
・今後、テキストに対峙する際には注意と批判的思考が重要となる
(=メディアリテラシーがさらに必要とされる)
この研究は、情報の信頼性評価に関する現代社会の課題を浮き彫りにしています。
危機を克服する方法としては、まずは「情報の根拠へのアクセス」を習慣づけることが提案されます。
📄 参照論文
○ Do You Trust ChatGPT? — Perceived Credibility of Human and AI-Generated Content