AIDB Daily Papers
SAGE:オントロジーに基づく解釈的次元による階層的LLM文学評価
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 文学の質を評価するため、オントロジーに基づいた解釈的次元を構造化LLM評価で分析する階層的フレームワークSAGEを提案した。
- 本研究は、従来の計算手法では困難な文学的質の評価を、信頼性と再現性の高い方法で実現する点で重要である。
- SAGEは600件の評価で98.8%の収束率と94%以上の評価者間一致を達成し、生成モデルの課題を特定した。
Abstract
Evaluating literary quality requires assessing interpretive dimensions such as cultural representation, emotional depth, and philosophical sophistication that resist straightforward computational measurement. We introduce SAGE, a hierarchical evaluation framework that decomposes literary quality into ontology-grounded interpretive dimensions assessed through structured large language model evaluation with multi-round iterative reflection and independent validation. We validate the framework on 100 short stories (50 canonical works, 30 pulp fiction, 20 LLM-generated narratives) across three analytical layers (cultural, emotional-psychological, existential-philosophical) using dual-mode assessment. Across 600 evaluations, the framework achieves 98.8% score convergence and greater than 94% inter-rater agreement, with near-perfect mode invariance between content-based and metadata-based evaluation. Statistical analysis reveals a consistent genre hierarchy (Canonical > Pulp > LLM, all p
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: