プロンプトでLLMを即カスタマイズするDnD

LLMが自動的に「そのタスクならこんなパラメータ設定がいいだろう」と推測して、適切な設定を自ら行う仕組みを開発したとのこと。

平たく言えば、技を覚えさせるより手早く変身させてしまおうといったアプローチです。

一般的な考え方としては、あるタスクに新しく適応させる際には特化したデータでみっちり追加学習する必要があります。
これは時間もお金もかかる大変な作業です。
なので、今回考案された方法ではその面倒な追加学習プロセスをスキップします。

意外なことに、この方法を使用したモデルが通常の学習方法よりも実際に性能が良いことがよくあると分かりました。
（すべてのタスクで上回るわけではないが、平均すると10～20%程度の精度向上）
処理速度は最大12,000倍も速く、全く新しい分野のタスクでも高い性能を発揮するそうです。

つまり、AIモデルのカスタマイズが必ずしも「長時間の特訓」でないといけないとは限らず「瞬間的な設定変更」でも有効であることが示されました。

ただし「さまざまなタスク指示と最適なパラメータ設定」のペアデータ集で事前に訓練されたモデルだからこそ実現する手法です。

とはいえ、これは画期的な発見と言えるかもしれません。