プロンプト圧縮でLLM性能向上とハルシネーション

研究者らは6種類のプロンプト圧縮手法を比較して効果を検証しました。その結果、
長文プロンプトを適度に短くすると、かえってモデルの性能が向上することがある。
圧縮の仕方によってはモデルごとに返答の違いが出る（Claudeでは簡潔になる、GPTでは逆に長くなる傾向）。
圧縮によってハルシネーションが増える全体的な傾向はある。
などの注目すべき発見がありました。

LLMへのプロンプトが長くなると、API利用料が高くなり、計算コストが増え、サービスによっては使用制限に早く達してしまいます。
そこで効率化したいというニーズがあります。しかし指示文を単純に削るだけでは情報の欠落によってモデルの精度が下がる可能性もあります。

総じて、プロンプト圧縮は非常に有効であるものの、やり方によって結果が大きく異なるという結果です。

なお、平均的に効果が高いプロンプト圧縮ツールは「LongLLMLingua」「LLMLingua-2」とのことです。