LLMが”わたしの話”を①体系的なメモで長期的に記憶し、②必要に応じて思い出し、③レスポンスを送るようにするパイプライン「MemoChat」が開発されました。
テンセントなどの研究者グループが発表しています。
○ Junru Lu et al. MemoChat: Tuning LLMs to Use Memos for Consistent Long-Range Open-Domain Conversation
現在のLLMチャットボットは、会話が長くなってきた時に”一貫したレス”を返すことが苦手です。
そこで研究者らは、多様なトピックを含む長い会話でも「構造化されたメモ」を作らせることで解決しようとしています。
以下は方法論のまとめです。すべてLLM側の動作です。
■会話をトピックごとに細分化し、メモを書く
■新しい会話のクエリに応じてメモを見返す
■現在の話と過去の話を照らし合わせながらレスする
実験では、4つのオープンソースLLMに対して上回る性能を出しました。
大規模なリソースから弾き出される「中立的な回答」を行う複雑なチャットボットではなく、とにかく”わたしの話”に応じた会話をしてほしい際に有用な技術です。
