今回研究者らは、AIの説得力を分析する研究を行いました。
820人の人間と、彼らの個人的なデータにアクセスできるGPT-4を議論させる実験が行われました。その結果、人間は人間と議論した参加者と比べてGPT-4に同意する可能性が81.7％高いことがわかりました。
参照論文情報
- タイトル：On the Conversational Persuasiveness of Large Language Models: A Randomized Controlled Trial
- 機関：EPFL, Fondazione Bruno Kessler
- 著者：Francesco Salvi, Manoel Horta Ribeiro, Riccardo Gallotti, Robert West
背景
説得は信念・立場・意見などを変えるプロセスとして広く研究されてきました。公衆衛生からマーケティング、政治に至るまで、さまざまな人間や組織が説得の戦略を練っており、メッセージを広く伝えるために多くの資源を投入しています。
近年、ソーシャルメディア等の普及により、一気に説得の影響力が増しています。特に、個人（やグループ）に合わせてメッセージを調整することで説得力を高める手法は、さまざまな分野で効果が実証されています。ただし、個人のプロファイリングやメッセージの個別化にはコストがかかるため、大規模な展開は困難と考えられてきました。しかしLLMが状況を変える可能性があります。
LLMを使えば個人属性や心理プロファイルに基づいてパーソナライゼーションを容易かつ安価に実装できるためです。便利である一方、適切な使い方を考える必要があります。
これまでLLMの説得力を分析する上では、人間とLLMが書いたテキストを比較する手法が取られてきました。その結果、最先端のモデルは人間と同等以上に説得力のあるとわかっています。
しかし、人間と直接会話する際のLLMの説得力や、パーソナライゼーションの有無によるパフォーマンスの違いについては、まだ十分な知見がありません。
そこで今回研究者らは人間とGPT-4を直接ディベートさせる実験を行いました。
