「深呼吸してから、一歩一歩、問題に取り組んでください」」といったプロンプトの有効性を報告したDeepMindの論文における、LLMの答えを最適化するフレームワーク『OPRO』の実行コードが公開されました。
– “Large Language Models as Optimizers”
本研究は、LLMが『メタプロンプト』を用いて解を段階的に最適化させるフレームワークによって、極めて複雑な問題にも取り組むことができる可能性が示されたものです。（2023.9.7に公開）
そして今回公開されたのは、上記で使用された最適化フレームワーク『OPRO』の実行コードやベンチマークテストデータなどです。
フレームワークの有効性は、以下のような実験で検証されています。
■実験結果概要
① 巡回セールスマン問題など最適化問題を設定
② LLMにOPROを適用
③ 解が確実に改善されていく様子を確認した
④ GPT-4は他のモデルよりも、少ないステップで最適解に到達する能力が高かった
■最適化フレームワーク『OPRO』の概要
① ランダムに生成された解から出発
② 各最適化ステップで最大8つの新しい解を生成
③ メタプロンプトを使用して問題インスタンスを生成
④ 各ステップで新しい解を提案
■公開されたコードとデータの特徴
① Python 3.10.13と特定の依存関係に対応
② プロンプト最適化と評価のためのスクリプト
③ GPTを含むさまざまなモデルをサポート
ただし、出力結果を最適化させていく過程で計算プロセスが多くなる恐れもあります。フレームワークを継続的に実行することで、APIなどの使用にかかるコストが増加するかもしれないことに注意すべきとされています。
