Microsoftの研究者らは、つい長くなりがちなLLMへの入力プロンプトを「意味を保持したまま」高度に圧縮する技術『LLMLingua』を開発しました。
LLMの応答が遅い、コストが高いなどで困っている方は一読の価値があるかもしれません。
実験によって他手法への優位性が確認されており、会話や要約タスクにおいても効果を発揮するとのことです。
– “LLMLingua: Compressing Prompts for Accelerated Inference of Large Language Models”
論文によると、今までLLMへのプロンプトは長くなる傾向にあり、応答の遅延やコスト増加を招いていました。
そこで研究者らは今回、プロンプトを効率的に圧縮する手法『LLMLingua』を考案しました。
■『LLMLingua』のポイント
① 重要な情報を保持する
② LLMの推論速度が向上する
③ 計算コストが削減される
→これまでの課題をそのまま解決する試み
■フレームワーク
① 大雑把な圧縮と細かいトークンレベルでの圧縮を組み合わせる
② プロンプトの各部分に適切な圧縮率を割り当てる
（「予算コントローラー」）
③ プロンプトから重要な情報を保ちながら圧縮する
（「反復的なトークンレベルのプロンプト圧縮（ITPC）」）
④ Instruction Tuningによって、小さいモデルと大きいモデルの差異を調整する
■競合技術（先行研究）への優位性
① 圧縮後もプロンプトの意味をより良く保持
② 圧縮率が高くても、パフォーマンスの低下が少ない
③ 異なるタイプのLLMタスクに対して広範囲にわたる適用可能性
■性能の検証実験
① 異なるシナリオの4つのデータセットで実験
② 他手法よりも高性能で、特にIn-context learningにおいて優れていた
③ 会話や要約においても定量的に性能が示された
本手法を使用するためのコードや実行手順はGitHubに公開されています。RAGを使用するシーンでも有効性が示されています。
なお、実験で試されたモデルはGPT-3.5、Claude-v1.3、Alpaca-7Bなどが含まれています。（他モデルでも同様の結果が得られるかは検証が必要かもしれません）
