LLMの作るストーリーは人間のクリエイティブとどう異なるか

本記事では、LLMが物語を生成する能力を評価して改善する新しい研究アプローチを紹介します。研究者たちは評価を通して、物語を作る人間とLLMの違いを明らかにしました。

さらに、LLMが物語を理解するスキルを測定し、物語を生成する能力を向上させる試みがなされました。

背景

LLMが日常生活に浸透することに伴い、LLMが物語を作る能力にも注目が集まっています。

物語のクオリティーを評価する上では、文章の滑らかさや一貫性が注目されることが多いものの、最近では物語の構造や創造性も重視されるようになってきました。

今回研究者たちは、物語の品質を分析する新しい方法を考え出しました。以下の3つの要素に着目しています。

1. 物語全体の流れ（ストーリーアーク）
2. 物語の転換点（ターニングポイント）
3. 感情の表現

そして人間が書いた物語とLLMが作った物語を比べてみると、興味深い違いが見つかりました。詳しくは後述します。

また、「物語を理解する能力」が物語を作る能力に関連するのではないかと考え、LLMの物語理解力も調べられました。その結果も注目に値するものでした。

さらに研究者たちはある要素をLLMに意識させることで、物語作りの能力を向上させることに成功しました。