人間の脳を模したAIの記憶システムを作成する方法

LLMエージェントを仕事で使うとき、地味に効いてくるのが記憶です。前に決めた方針、ユーザーの好み、プロジェクトの制約、途中で変わった前提。こうした情報をうまく扱えないエージェントは、一見賢くても、毎回新人に説明しているような手間が残ります。

ただし、解決策は「全部覚えさせること」ではありません。むしろ、何でも保存するほど、古い情報やどうでもいい雑談まで判断に混ざります。将来のLLMエージェントに必要なのは、記憶容量そのものより、残す、薄める、更新するという整理の能力です。

今回扱う研究は、その記憶設計を人間の脳に近い発想から作り直そうとしています。記憶をただのログ置き場ではなく、時間とともに変化する知識の仕組みとして扱う。これは、LLMエージェントが長く使われる存在になるほど避けて通れないテーマです。

記憶が弱いLLMは仕事を任せにくい

現在のLLMエージェントは、単発の作業ではかなり強く見えます。メールを下書きする、コードを直す、資料を要約する。その場その場の処理なら、十分に役立つ場面も増えています。

ところが、数日、数週間、数か月にわたって同じ相手を支援するとなると話が変わります。先週の会議で決まったことを忘れる。以前の失敗から学ばない。昔の好みを現在の好みと取り違える。こうした小さなズレが積み重なると、ユーザーは結局、毎回同じ説明を繰り返すことになります。

そこで多くのシステムは、過去の会話を保存したり、検索して呼び出したりします。しかし、それだけでは「記憶がある」とは言い切れません。人間が必要としているのは、過去の情報そのものではなく、いまの判断に使える形に整えられた過去だからです。

よくある記憶の持たせ方

「全部覚える」は長期利用に向かない

記憶の問題を考えるとき、つい「どれだけ長く保存できるか」に目が向きます。コンテキスト長が伸びれば解決する、保存領域を増やせばよい、検索精度を上げれば何とかなる。そう考えたくなるのは自然です。

しかし、仕事で使うLLMエージェントにとって厄介なのは、記憶が足りないことだけではありません。古い記憶が強すぎることも、かなり危ない問題です。たとえば、ユーザーが「今後はこの表現を使わない」と伝えたのに、過去のやり取りをもとに古い表現を提案してしまう。あるいは、プロジェクトの方針が変わった後も、前のルールを正しいものとして扱ってしまう。

この意味で、将来のLLMエージェントに求められる記憶は、倉庫というより編集部に近いものです。入ってきた情報をそのまま積むのではなく、何を一面に置き、何を奥に下げ、何を古い情報として扱うかを決める必要があります。

人間の記憶をまねると保存の意味が変わる

この研究が面白いのは、人間の記憶を「便利なたとえ」として使っているだけではない点です。記憶は固定されたファイルではなく、時間の経過や再利用によって変わるものだという前提を、LLMエージェントの設計に取り込んでいます。

人間は、見聞きしたことをすべて同じ精度で保存しているわけではありません。印象的な出来事は残りやすく、何度も出てくる情報は強くなり、どうでもよい細部は薄れていきます。さらに、思い出すたびに記憶は少し更新されます。これをLLMの記憶に移すと、保存、検索、忘却、更新が一体になった仕組みになります。

取り入れられた六つの発想

記憶は三つの場所に分けて持つ

提案されている設計では、記憶を短期、中期、長期の三つに分けます。すべてを同じ箱に入れるのではなく、いま使うもの、しばらく置いておくもの、長く残す知識を分けて扱うわけです。

短期記憶は、作業中のメモに近い場所です。数分から数時間で消える前提で、いま進めている会話やタスクを支えます。中期記憶は、数日から数週間の出来事を検索できる形で残します。長期記憶は、人やプロジェクト、好み、ルールの関係を構造化して置いておく場所です。

この分け方が効くのは、記憶の寿命を最初から変えられるところです。会議中の一時的なメモと、ユーザーが何度も示してきた重要な好みを、同じ重さで扱わずに済みます。

三層の役割

大事な記憶だけが長期に移される

この設計の中心にあるのが、定期的な記憶の整理です。一定時間ごとに、蓄積された出来事を見直し、長く残すもの、しばらく様子を見るもの、薄めるものに分けます。元の設計では、この処理は標準で六時間ごとに走ります。

判断に使われるのは、単なる新しさだけではありません。頻繁に出てくる情報か、意外な出来事か、関係する人や物事が重要か、目的達成に関わったか。こうした複数の観点を組み合わせて、出来事ごとに重要度を見ます。

処理の結果、上位20パーセントは長期記憶に移され、下位20パーセントは捨てられます。真ん中の情報はすぐに白黒をつけず、しばらく保持されます。人間の記憶にたとえれば、強く残る経験、忘れてよい雑音、まだ判断を保留する出来事を分けているようなものです。

重要度を見る五つの観点

• 新しさによって、直近の変化を拾います。
• 頻度によって、何度も現れる情報を重く扱います。
• 意外さによって、普段と違う出来事を見逃しにくくします。
• 関係する対象の重要度によって、人物やプロジェクトの重みを反映します。
• 目的達成との関係によって、成果につながった経験を残します。

忘れる機能が判断のノイズを減らす

LLMの記憶というと、何でも覚えているほうが強そうに見えます。けれど、長く使うエージェントでは、その発想が裏目に出ます。古い前提、もう使わないルール、たまたま口にした好みが残り続けると、後の判断を汚してしまうからです。

この設計では、忘却をエラーではなく管理機能として扱います。記憶をいきなり削除するのではなく、段階的に薄めていくのが特徴です。細かい記録として残っていたものが、要約になり、短いメモになり、最後は「そういう出来事があった」という存在記録だけになる。記憶を捨てるというより、判断に使う強さを落としていくイメージです。

二つの忘れ方

時間で薄れる

時間が経つほど、情報の重要度を少しずつ下げます。古い情報がいつまでも最前列に残らないため、現在の状況に合った判断をしやすくなります。

似た記憶に押し出される

新しい記憶が入ると、似た古い記憶の扱いが変わります。たとえば、ユーザーの好みが更新された場合、昔の好みを同じ強さで残すのではなく、新しい情報との関係で重みを調整します。

新しい記憶をすぐ信じすぎない

もう一つ、人間の記憶らしい仕掛けがあります。新しく長期記憶に入った情報を、すぐに強く使わせないことです。2017年の神経科学研究では、記憶が作られた直後から常に同じように使えるわけではなく、しばらく静かな状態を経て安定していくことが示されています。

この考え方をまねて、新しい長期記憶は最初、活性化の強さがゼロから始まります。標準設定では、一週間で半分ほど、二週間で完全に取り出せる状態になります。

これはかなり実務的な意味を持ちます。一度だけ出た情報にエージェントが飛びつくと、判断がぶれます。とくに、法務、医療、企業内の意思決定支援のように、古い前提と新しい前提の扱いが重要な領域では、「すぐに信じすぎない記憶」が安全装置になります。

思い出した記憶は更新の対象になる

記憶の取り出し方も、単純な検索だけではありません。最近の出来事は中期記憶から探し、古い知識や関係性は長期記憶のネットワークをたどります。直近の会話と、長く続いている文脈を分けて扱うためです。

さらに、取り出された記憶は固定された過去として扱われません。一定時間だけ書き換え可能な状態になり、新しい情報と矛盾する場合は更新されます。元の設計では、この時間は六十分です。

これは、長期利用ではかなり大事です。ユーザーの好みは変わります。担当プロジェクトも変わります。会社の方針も変わります。エージェントが本当に継続的な相棒になるなら、過去を覚えるだけでなく、過去の扱いを更新できなければなりません。

評価では圧縮しながら精度を保てた

評価でまず重要なのは、都合のよい調整を避けている点です。記憶を統合するしきい値などの設定は、本番の評価データを見て決めたのではなく、別に作った合成データで調整されています。評価データに合わせて後出しで最適化すれば、スコアはよく見えてしまいます。その抜け道を塞いだ形です。

実験は大きく二つです。一つ目は、VSCodeのGitHubイシュー一万三千件をもとにした、十二万件の出来事の評価です。ここでは、残すべき情報を見分ける精度が九七・二パーセントとなり、データ量は五八パーセント削減されました。何も捨てない素朴な方式より、二一・八ポイント高い結果です。

二つ目は、長期会話の記憶を測るLongMemEvalでの評価です。475セッション、約54万ターンという大規模な会話を、実際の利用に近い順番で流し込んでいます。20万トークンの条件では、素朴な検索方式が71.2パーセント、この設計が70.1パーセントでした。数字だけ見ればわずかに下回りますが、記憶量を圧縮しながら近い精度を保っている点がポイントです。

もう一つ見逃せないのが、ユーザーの好みを思い出すタスクです。ここでは13.3ポイント改善しています。全体の正答率を少しでも上げるというより、個人化された支援に必要な記憶を残しやすくなった、と読むほうが実態に近そうです。

主な結果

まだ確かめきれていない部分もある

もちろん、これで記憶問題が解けたわけではありません。特に、記憶の成熟と再固定化については、効果をはっきり示しきれていません。理由は、評価データの性質にあります。長期会話のベンチマークには、同じ話題が繰り返されたり、以前の発言と矛盾する新情報が出たりする場面が十分には含まれていません。

これは弱点であると同時に、次に見るべきポイントでもあります。現実の利用では、矛盾や更新は珍しくありません。最初は英語で返信してほしいと言っていたユーザーが、途中から日本語中心に変える。会社の方針が変わる。担当範囲が変わる。こうした変化に追いつけるかどうかは、今後のLLMエージェントの実用性を左右します。

まとめ

この研究から見えてくるのは、LLMエージェントの競争軸が少し変わりつつあることです。一回の回答をどれだけ賢くするかだけでなく、長い時間をかけて相手や仕事をどう理解するかが重要になります。

そのとき必要なのは、巨大な記憶倉庫ではありません。どの記憶を残すか。どの記憶を薄めるか。どの記憶を新しい情報で更新するか。いわば記憶の編集力です。

将来、AIが単なるチャット相手ではなく、継続的に仕事を支える存在になるなら、記憶は裏側の小さな機能では済まなくなります。むしろ、信頼できる相棒になるための中核機能になるはずです。覚える力より、忘れ方と更新の仕方。その設計が、次のLLMエージェントを分けるかもしれません。

本記事の関連研究