AIDB Daily Papers
人間と大規模言語モデルにおける意味的探索の比較分析
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 人間と主要なLLMが概念空間を探索する際の動態を、言語流暢性データを用いて比較分析した。
- エントロピーやステップサイズなどの指標を用い、人間とAIの探索戦略の差異を定量的に評価した点が新しい。
- 人間はLLMよりも探索的で広範な検索を行っており、現行のモデルは人間の探索バランスを再現できていない。
Abstract
Semantic memory retrieval can be conceptualized as navigation through conceptual space. We compared semantic search dynamics between humans and three large language models (GPT-4o, Gemini-2.5-Pro, Claude-Sonnet-4.5) using verbal fluency data. By applying trajectory-based NLP metrics to the items generated by 82 human participants and LLM output across eight temperature settings, we quantified three complementary dimensions: entropy (step size predictability), distance to next (successive semantic steps), and distance to centroid (global dispersion). Humans exhibited higher entropy, larger semantic steps and broader dispersion than all LLMs, indicating more variable and exploratory search. Temperature tuning produced only partial alignments, as individual metrics matched between humans and LLMs at specific settings, but no configuration reproduced the complete human profile (in all dimensions). These findings suggest that human semantic search implements a distinctive balance between local exploitation and global exploration that current model architectures fail to reproduce.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: