Microsoftなどの研究者らが、プロンプト圧縮技術『LLMLingua-“2″』を公開し、タスクの精度を維持したまま圧縮率2-5倍を達成したと報告しています。
さらにプロンプトが圧縮されることにより、回答速度が倍速になるとのこと。
“LLMLingua-2: Learn Compression Target via Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression”より
プロンプト圧縮技術は広く研究されてきました。
しかしこれまでの手法は、時に重要な情報を捉えられないケースがあったり、タスクによっては不得意だったりなどの欠点がありました。
そこで研究者らはプロンプト圧縮タスクを定義し直し、より汎用的で巨力なツール『LLMLingua-2』を開発したと主張しています。
（前LLMLingua-1は2023/10に同社が公開）
■いかにして開発されたか
1. 重要な意味を保持した圧縮テキストのデータセットを構築（GPT-4を使用）
2. 文章中の各単語を「残す」か「削除する」かを判断する問題としてプロンプト圧縮を定義し直した
3. 各単語を「残す」確率を予測する能力に特化したトランスフォーマーモデルを構築した
※完成したモデルがGitHubに公開されています
■『LLMLingua-2』の性能評価結果
– MTGの議事録に基づくQAや要約タスクで3.1倍の圧縮
– さまざまなタイプの長い文書を理解するタスクで5倍の圧縮
– 数学タスクでも5倍の圧縮
いずれもタスクの精度を保ったまま圧縮を実現しています。
