LLMの出力品質を落とさずに推論速度をスピードアップさせるための手法が考案されています。
実験では、実際のアプリケーションに組み込んだところ効果が確認できたとのことです。
手法は『Lookahead』と名付けられています。
“Lookahead: An Inference Acceleration Framework for Large Language Model with Lossless Generation Accuracy”より
■出力品質と推論スピードの関係
– LLMの精度が高く推論が遅いのは課題視されている
– アプリケーションでは推論速度が重要である
– 一般に速度と品質はトレードオフと言われている
■『Lookahead』のアイデア
1. 生成の枝分かれ（ブランチ）を作る
– ブランチを作成は並行処理する
2. 最適なブランチを選び出す
– 不要なブランチを早期排除する
→推論スピードを向上させつつ高品質を維持する
■実験と結果
1. DollyデータセットとLlama-13Bでテスト
2. オンライン環境に組み込んだ
3. 高い生成精度を維持しつつ速度を改善した
研究者らは上記の結果から本フレームワークの効果を一定確認できたとした上で、今後はさらに広範な実験条件で検証していきたいと述べられています。
