LLMにエピソード記憶のような能力を持たせるRAGのテクニック

本記事では、人間のようなエピソード記憶をLLMに持たせるための新しいフレームワークを紹介します。

通常のRAGでは苦手な「時間の経過にともなう役割や状態の変化を追いかけること」を、脳の記憶のしくみをヒントにして扱えるようにしています。

背景

LLMは、仕事のさまざまな場面で使われるようになってきましたが、長い文書を扱うときには根本的な課題があります。ひとつは、LLMが一度に処理できる文字数（「コンテキストウィンドウ」）に限りがあり、膨大な資料をそのまま読み込ませることができない点です。さらにやっかいなのは、コンテキストウィンドウに収まる長さであっても、文書が長くなるほどLLMの理解精度が下がると報告されていることです。

こうした問題への現在の代表的な解決策が「RAG」と呼ばれる手法です。RAGでは、文書を小さな「チャンク」に分割し、それぞれを意味的な埋め込みベクトルに変換してデータベースに保存します。ユーザーが質問すると、その質問に最も関係の深いチャンクだけを検索して取り出し、LLMに渡します。必要な部分だけを効率よく参照できるため、事実に基づく質問応答にはうまく機能します。

一方で、標準的なRAGには大きな弱点もあります。チャンクは個別に埋め込まれ、個別に検索されるため、チャンク同士のつながりや流れが見えにくくなってしまいます。

解決のヒントになりそうなのは人間の「エピソード記憶」です。エピソード記憶とは、特定の時間と場所に結びついた個人的な経験の記憶のことです。私たちが現実世界で計画を立てたり推論したりするうえで欠かせない能力です。さらに人間は、複数の経験をまたいで推論することで、新しい世界モデルを作ったり、既存のモデルを更新したりできます。

しかし現在のRAG手法は、「時間とともに変化する役割や状態」を追跡したり、「いつ・どこで起きたか」という時空間的な文脈を正確に押さえたりする仕組みが十分ではありません。つまり、ビジネス文書や報告書のように「エピソード的な記憶」が求められる文書を扱う場面では、まだ大きな改善の余地があるということです。

そこで本記事ではLLMにエピソード記憶のような能力を持たせるテクニックについて取り上げます。