文書を増やすほどRAGの精度が下がる「希釈問題」とその対策

社内文書を読み込ませた検索システムを作ると、最初の数十ファイルでは狙いどおりの答えが返ってきます。ところが、手応えを感じて対象を全社文書へ広げた途端、答えがぼやけ、的外れな引用が混じり始めます。知識を足したはずなのに、システムはむしろ賢さを失っていきます。

一例として、ある米国の州交通局が運用していた文書検索チャットでは、対象を54ファイルから1,128ファイルへ増やしたところ、特定分野の質問に対する正答率が75%から40%未満まで落ち込みました。原因は、埋め込みモデルの単純な不具合ではありませんでした。

では、なぜ文書を増やすと精度が下がるのでしょうか。そして、複雑なAIエージェントを組まずに精度を取り戻すには、どこに手を入れればよいのでしょうか。