人はディベートで人よりもGPT-4が相手のとき81.7%高い確率で意見を変える（つまり討論に負ける）傾向にあったとの実験報告

説得は信念・立場・意見などを変えるプロセスとして広く研究されてきました。公衆衛生からマーケティング、政治に至るまで、さまざまな人間や組織が説得の戦略を練っており、メッセージを広く伝えるために多くの資源を投入しています。

近年、ソーシャルメディア等の普及により、一気に説得の影響力が増しています。特に、個人（やグループ）に合わせてメッセージを調整することで説得力を高める手法は、さまざまな分野で効果が実証されています。ただし、個人のプロファイリングやメッセージの個別化にはコストがかかるため、大規模な展開は困難と考えられてきました。しかしLLMが状況を変える可能性があります。

LLMを使えば個人属性や心理プロファイルに基づいてパーソナライゼーションを容易かつ安価に実装できるためです。便利である一方、適切な使い方を考える必要があります。

これまでLLMの説得力を分析する上では、人間とLLMが書いたテキストを比較する手法が取られてきました。その結果、最先端のモデルは人間と同等以上に説得力のあるとわかっています。

しかし、人間と直接会話する際のLLMの説得力や、パーソナライゼーションの有無によるパフォーマンスの違いについては、まだ十分な知見がありません。

そこで今回研究者らは人間とGPT-4を直接ディベートさせる実験を行いました。