LLMが「テキストの難易度を調整する」能力は時として人間よりも性能が高い可能性があるとのことです。
入力テキストのレベルに応じて生成コンテンツの難易度を自動で調整できるかどうかの実験結果が報告されています。
NAISTの研究グループによる論文です。
“Do LLMs Implicitly Determine the Suitable Text Difficulty for Users?”
■研究背景
LLMによるテキスト難易度を調整する方法は、プロンプト手法を含めて様々な研究が行われています。
一方で、ユーザーの理解度に合わせてコンテンツのレベルを自動で変更することができるかどうかも重要な観点です。
そこで研究者らは入力テキストと出力テキストの間で暗黙的に難易度の調整が発生しているかを調査しました。
■実験内容
– GPT-3.5/4、LLaMA-2, Vicuna, CodeLLaMa など各種LLMを検証
– Stack-Overflowから作成したQAデータセット、およびTSCC（教師と学生の会話データセット）を使用
– ユーザーの理解度を明示せず、質問文のみを入力
– 入力テキストと生成テキストの難易度・冗長性の相関係数、生成テキストと人間の回答の類似度で評価
■実験結果
– LLaMA-2-chat、Vicuna、GPT-3.5、GPT-4などで、入力テキストと生成テキストの間に高い難易度の相関が見られた
– LLMは人間の回答よりも高い難易度調整能力を示した
– ただし会話データセットでは、QAデータセットほど精度が高くはなかった
→文脈の考慮が必要なタスクへの対応にはさらなる研究が必要である可能性を示唆
