会話コンテキストに頼るか、RAG環境を作るか

あるAIと会話していたとします。最初は快調です。しかし会話が100回、200回と積み重なるにつれ、応答の精度が落ちるか、あるいはコストが跳ね上がるか、どちらかの壁にぶつかります。

「それならRAGを入れよう」と考えるのは自然な発想ですが、実はその判断が早すぎる場合があります。会話履歴をまるごとコンテキストウィンドウに入れるだけの素朴な方法が、高度なRAGシステムの精度を2倍以上も上回るケースが確認されています。

鍵になるのは、会話メモリが持つ「ゼロから徐々に成長する」という独自の特性と、それを活かしたアーキテクチャの段階的な切り替えです。順を追って見ていきます。