LLMは秘密を保持できない構造的限界

研究者らによると、現在のLLMは「秘密の情報を持ちながら会話する」ことはできないとのこと。

たとえば、秘密の単語を心に決めて、プレイヤーの質問に一貫して答えるゲーム。LLMは、各ターンで過去の会話履歴を見て応答し、その場で辻褄を合わせながら話すそうです。
（あるいは秘密が隠せない）

これは単なるモデルの性能の問題ではなく、アーキテクチャの構造的な限界であることが数学的に示されています。
公開される会話履歴しか見られないエージェントは、原理的に「秘密を保ちつつ一貫した応答をする」ことが不可能なのだそう。

もしこれを解決したいならば、LLMに「プライベートなワーキングメモリ」をあえて持たせる必要があります。
会話履歴とは別に、エージェント自身だけが読み書きできるメモリ領域で、ここに秘密の情報や計画を保存できるようにします。
実験では、このメモリを持つエージェントが高い一貫性で秘密を維持できることが確認されています。

ただし、そもそも秘密を持つことが必須条件となるようなAIサービスとはどんなものか、という点も議論のテーマになり得そうです。