LLMは「直前の自分の振る舞い」に引きずられます。一度幻覚を起こせば次も起こしやすく、一度拒否すれば次も拒否しやすい。最近のモデルでも。
ただし、このトラップには解除条件があることが分かりました。
会話の話題を大きくバラバラにすると、内部空間から振る舞いの引きずりだけがほぼ消えるのです。
そのため、幻覚の連鎖を断ち切りたいときは、意図的に話題を切り替えるプロンプト設計が有効かもしれません。
イスラエル工科大学やオックスフォード大学などの研究チームによる報告です。
研究者らはLLMの振る舞いを、「自分の前回の会話にどれだけ引きずられるか」で表現する確率モデルで捉えることにより、今回の発見に至りました。
