本記事では、LLMが物語を生成する能力を評価して改善する新しい研究アプローチを紹介します。研究者たちは評価を通して、物語を作る人間とLLMの違いを明らかにしました。
さらに、LLMが物語を理解するスキルを測定し、物語を生成する能力を向上させる試みがなされました。
参照論文情報
- タイトル:Are Large Language Models Capable of Generating Human-Level Narratives?
- 著者:Yufei Tian, Tenghao Huang, Miri Liu, Derek Jiang, Alexander Spangher, Muhao Chen, Jonathan May, Nanyun Peng
- 所属:University of California, Los Angeles, University of Southern California, University of California, Davis
背景
LLMが日常生活に浸透することに伴い、LLMが物語を作る能力にも注目が集まっています。
物語のクオリティーを評価する上では、文章の滑らかさや一貫性が注目されることが多いものの、最近では物語の構造や創造性も重視されるようになってきました。
今回研究者たちは、物語の品質を分析する新しい方法を考え出しました。以下の3つの要素に着目しています。
- 物語全体の流れ(ストーリーアーク)
- 物語の転換点(ターニングポイント)
- 感情の表現
そして人間が書いた物語とLLMが作った物語を比べてみると、興味深い違いが見つかりました。詳しくは後述します。
また、「物語を理解する能力」が物語を作る能力に関連するのではないかと考え、LLMの物語理解力も調べられました。その結果も注目に値するものでした。
さらに研究者たちはある要素をLLMに意識させることで、物語作りの能力を向上させることに成功しました。
また記事の購読には、アカウント作成後の決済が必要です。
※ログイン/初回登録後、下記ボタンを押してください。
AIDBとは
プレミアム会員(記事の購読)について
■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。