AIDB Daily Papers
MemoryCD:LLMエージェントの長期コンテキストユーザー記憶能力をベンチマークし、生涯にわたるクロスドメインのパーソナライズを実現
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- Amazonレビューデータセットから、大規模なユーザー中心のクロスドメイン記憶ベンチマークMemoryCDを構築しました。
- 既存の記憶データセットと異なり、MemoryCDは長年にわたる実際のユーザーインタラクションを追跡し、多様なドメインを網羅します。
- 最先端LLMと記憶メソッドを評価した結果、既存手法はユーザー満足度には程遠く、改善の余地があることが示唆されました。
Abstract
Recent advancements in Large Language Models (LLMs) have expanded context windows to million-token scales, yet benchmarks for evaluating memory remain limited to short-session synthetic dialogues. We introduce textsc{MemoryCD}, the first large-scale, user-centric, cross-domain memory benchmark derived from lifelong real-world behaviors in the Amazon Review dataset. Unlike existing memory datasets that rely on scripted personas to generate synthetic user data, textsc{MemoryCD} tracks authentic user interactions across years and multiple domains. We construct a multi-faceted long-context memory evaluation pipeline of 14 state-of-the-art LLM base models with 6 memory method baselines on 4 distinct personalization tasks over 12 diverse domains to evaluate an agent's ability to simulate real user behaviors in both single and cross-domain settings. Our analysis reveals that existing memory methods are far from user satisfaction in various domains, offering the first testbed for cross-domain life-long personalization evaluation.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: