プロンプトを遺伝的アルゴリズムで最適化するプロンプトエンジニアリング自動化手法『Promptbreeder（プロンプトブリーダー）』が発表されました。
CoT（ステップバイステップ）を上回る性能を確認したとのこと。
DeepMindによる研究です。
○ Chrisantha Fernando et al., “Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution”
現在優れているプロンプト戦略であるCoT（Chain of Thought）やその派生テクニックはいわば手作りです。
そこで研究者らは自動最適化を行う手法『Promptbreeder（プロンプトブリーダー）：PB』を開発しました。
■PBのフレームワーク
① 初期設定：以下を用意する
・問題説明
・一般的な「思考スタイル」
・変異プロンプトの初期セット
② 遺伝的アルゴリズム：標準的な二項トーナメント遺伝的アルゴリズムを使用する
③ 適性評価：トレーニングデータのランダムなバッチでパフォーマンスを評価する
※遺伝的アルゴリズムとは：進化プロセスを模倣した最適化手法です。解の「集団」を生成し、評価、選択、組み合わせ、変異させて、優れた解を生成します。プロセスは数世代にわたって繰り返され、最適解を目指します。
■PBの性能
以下の実験結果が示されています。
・比較対象：Chain-of-Thought、Plan-and-Solve
（それぞれ最先端のプロンプト戦略）
・ベンチマーク：一般的な算術と常識推論
→結果、いずれも上回るパフォーマンスを発揮
■主な結論
① PBはタスクに適応するプロンプトを進化させるだけでなく、それがどのように進化するかも改善する
② PBは高コストなパラメータの更新を必要とせず、自己改善を促す自然言語のみで機能する
□今後の展開に関する考察
PBのような手法はプロンプトエンジニアの仕事効率を大幅に向上させる可能性があり、また優れた成果を得られることにも繋がるかもしれません。
ビジネス上のインパクトも大きいと考えられます。
一方で、このような手法を使いこなすのに一定の技術力が必要とされるため、標準の学習コストは高くなる恐れもあります。
また、PBの実行にも計算リソースを使用するため、コストパフォーマンスを検討する必要もあります。
