AIとの会話では基本的にユーザーとLLMとの会話が履歴として残り、モデルには「履歴＋ユーザーからの新しい発言」がプロンプトとして与えられますが、実際は履歴がなくても問題ないケースは多いそうです。
むしろ無い方が良くなることも少なくない。
MITとIBMが共同で研究報告しています。
なぜなら、実際の会話は「そもそも前の文脈と関係ない新しい質問」であることもままある。
加えて、AIは自分の過去の回答に引きずられて誤りを繰り返す「コンテキスト汚染」という問題を抱えており、前のターンで使った誤ったコードや間違った情報をそのまま次のターンに持ち込んでしまうことがあります。
これは最新・最高性能のモデルでも起きます。
「AIは自分の発言の履歴を全部保持した方が賢い」という前提は常には成り立たず、賢く取捨選択することが精度向上にもコスト削減にもつながります。
