ブラックボックスな大規模言語モデルでも目的に合わせてチューニングできるようにする手法が考案されました。
小さいモデルを調整したときの出力変化ロジックを適用するという発想です。アプローチの効果は実験で確認されています。
本手法は『プロキシチューニング（proxy-tuning）』と命名されています。
“Tuning Language Models by Proxy”より
■従来課題
– 基盤モデルは既に凄いが実用ではチューニングしたい
– モデルの重みが公開されていないモデルの調整は難しい
■考案されたアプローチ
– 小さいモデルを調整したときの出力変化を応用する
– 基盤モデルの強みを残しつつカスタマイズできる
■実験と結果
– Llama2-7Bの調整前後の出力変化を定式化した
– 上記定式をLlama2-70Bに適用してチューニングした
– Llama2-70Bの性能が顕著に向上した
– 他、もう少し小さいモデルの調整でも効果を確認した
注意点としては、本プロキシチューニング適用後のモデルは実行時間が増加することが実験で観察されています。
