人間のコミュニケーションには欠かせない要素であるユーモア。それをAIが理解し、自らジョークを作り出すことはできるのでしょうか？本記事では、AIモデルChatGPTのユーモア理解能力をテストした最新の研究を紹介します。

参照論文情報

• タイトル：ChatGPT is fun, but it is not funny! Humor is still challenging Large Language Models
• 著者：Sophie Jentzsch, Kristian Kersting
• URL：https://doi.org/10.48550/arXiv.2306.04563
• GitHub：https://github.com/dlr-sc/jokegpt-wassa23

関連研究

人間の思考や感情、それらが行動にどう結びつくかを理解し予測するAI「FutureNet」をMITの研究グループが開発

CLARIFY DELPHI：人間の道徳的な判断を質問生成でサポートするAI

GPTが「心の理論」をもつかどうかはプロンプト次第

人の音声からAIが「性格」を予測

ユーモアとAI

ユーモアは、人間の日常生活やコミュニケーションに深く根ざした要素であり、私たちが他人とつながり、ストレスを軽減し、楽しみを共有する手段となっています。しかし、ユーモアは非常に複雑な現象であり、その理解や生成は文化的背景、個人的な価値観、経験、さらにはその瞬間の文脈に大きく依存します。これらの要素は、人間にとっては自然に理解できるものでも、AIにとっては大きな挑戦となります。

AIがユーモアを理解し、それを適切に使用する能力を持つことは、人間とAIのコミュニケーションをより自然で人間らしいものにするための重要なステップです。しかし、そのためにはAIがユーモアの複雑な性質を理解し、それを模倣する能力を持つ必要があります。

この背景を踏まえて、研究者らは大規模言語モデルChatGPTがジョークを「作り出す」「見つける」「説明する」能力を持つかどうかを検証しました。これらの能力は、AIがユーモアを理解し、それを適切に使用するための基本的なスキルと言えます。

この研究の目的は、AIのユーモア理解能力の現状を明らかにし、その限界と可能性を探ることです。また、AIがユーモアを理解し生成するために必要なスキルや知識を明らかにすることで、より自然で人間らしいAIの開発に寄与することも目指しています。

ChatGPTのユーモア理解能力の検証

この研究では、ChatGPTのユーモア理解能力を詳細に検証するために、3つの異なるテストが行われました。それぞれのテストは、ユーモアの理解と生成に必要な異なるスキルを評価することを目的としています。

①ジョークの生成

まず、ChatGPTが自身でジョークを作り出す能力を評価するためのテストが行われました。このテストでは、モデルにジョークを生成させ、その結果を分析しました。生成されたジョークの数、種類、新規性、そしてユーモラスさが評価の対象となりました。

②ジョークの認識

次に、ChatGPTがジョークを認識する能力を評価するためのテストが行われました。このテストでは、ジョークと非ジョークのテキストを混ぜたデータセットを用いて、モデルがどれをジョークと認識するかを調査しました。このテストは、モデルがユーモラスなテキストとそうでないテキストを区別する能力を評価することを目的としています。

③ジョークの説明

最後に、ChatGPTがジョークを説明する能力を評価するためのテストが行われました。このテストでは、モデルにジョークの説明を生成させ、その説明の正確さと完全性を評価しました。このテストは、モデルがユーモラスなテキストの意味を理解し、それを他の人に伝える能力を評価することを目的としています。

これら3つのテストを通じて、ChatGPTのユーモア理解能力の全体像を描き出すことが目指されました。

検証の結果

この研究で行われた3つのテストから、ChatGPTのユーモア理解能力についていくつかの重要な発見が得られました。

ジョークの生成能力