Nature本誌に掲載された論文によると、AIに「優しく親しみやすい」話し方を学習させると、事実の正確さが下がって、間違った情報や医療アドバイス、陰謀論まで出しやすくなるとのことです。
オックスフォード大学の研究者らが5種類のモデルで実験的に検証して報告しました。
さらに、 研究チームによると、ユーザーが悲しみを見せたときほど、相手の間違った思い込みに「そうですね」と調子を合わせる(おべっか)傾向が約40%強まり、本来なら訂正すべき場面で同調してしまいました。
通常のベンチマークではこの性能低下はほとんど発見することが出来ないのもよくないそう。
なお、筆頭著者のLujain Ibrahimさんは本論文をNatureに投稿した後にGoogle DeepMindと契約関係に入ったと明記されています。