タスクに対して最適なプロンプトが要素ごとに自動的に選択され組み合わせられていく技術『MoPs』が開発されました。
既存のLLMやアーキテクチャと連携が簡単で、優れた性能を発揮することが検証されています。
ライス大学とMicrosoftによる発表です。
@ Chen Dun et al., “Sweeping Heterogeneity with Smart MoPs: Mixture of Prompts for LLM Task Adaptation”
LLMのプロンプトチューニングは知見や情報が貯まってきています。
蓄積されたナレッジを効率的に活用する取り組みが求められています。
そこで研究者らは『Mixture of Prompts（MoPs）』と呼ばれる新しいプロンプトの組み合わせ方法を提案しています。
■『MoPs』の仕組み
① 複数の「エキスパート」プロンプトを用いる
② 入力に基づいて適切なプロンプトを選択する「ゲーティング機能」を実装
■『MoPs』の性能
① 複数のタスクとデータセットでMoPsを評価：
→既存のベースラインに比べて、正確さを大幅に改善
② モデルの圧縮技術との互換性も評価：
→モデルの圧縮に対しても頑健
■技術的なポイント
① ゲーティング機能は浅いMLPネットワークを用いて実装
② プロンプトは中間層に挿入される
■注意点
① ゲーティング機能の事前訓練が有用である
（必須ではない）
② モデルの圧縮技術との相互作用については、さらなる調査が必要
