AIDB Daily Papers
物語の風景:LLMの特性を定量的にマッピングする
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- LLMの出力特性を、繰り返し制御された条件下での安定したモデル固有の規則性として定量的にプロファイリングするフレームワークを提案した。
- 一貫性と多様性の2次元で特性を定義し、主成分分析を用いた「物語の風景」でモデル間の比較を可能にした点が新しい。
- 結果として、モデルファミリー間の硬直性と探求性のスペクトルが明らかになり、指示タイプによって選択空間の幾何学的構造が変化することが示された。
Abstract
This study proposes a quantitative framework for profiling LLM dispositions as stable, model-specific regularities in output under repeated, controlled elicitation. Using a structured narrative constraint-selection task administered across six frontier models and three instruction types, we operationalize disposition through two dimensions: "consistency", measured as cross-replication selection overlap via Jaccard similarity, and "diversity", measured as dispersion across options via the inverse Simpson index. We further introduce Narrative Landscape, a PCA-based visualization that maps each model's selection profile into a shared space for direct comparison. Results reveal a clear rigidity-exploration spectrum across model families and show that instruction types shift the geometry of selection spaces even when scalar metrics appear similar, indicating that comparable scores can mask qualitatively distinct selection topologies.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: