LLMが巡回セールスマン問題などの「最適化問題」を上手く解決する可能性が示唆されました。
この結果は「LLMが”自身でプロンプトを最適化し、更なる最適化を行う能力”を持つ」ことを示します。
DeepMindによる報告です。
○ Chengrun Yang et al. Large Language Models as Optimizers
最適化問題とは、特定の条件下で目的関数を最大化／最小化する解を見つける問題です。
応用は多岐にわたり、古典的な問題は「巡回セールスマン問題」などがあります（詳細は後述）。
■方法論
① ユーザーが最適化問題を自然言語で記述
② LLMが解を生成
③ LLMが前回の解を基に新しい解を生成
④ 新しい解の生成を繰り返す
■実験結果
・線形回帰問題や巡回セールスマン問題を優秀な性能で解いた
・LLMは人間が設計したプロンプトよりも優れたプロンプトを生成できることを示した
＝LLMは「自身でプロンプトを最適化し、更なる最適化を行う能力」を持つ
※巡回セールスマン問題とは：
「あるセールスマンが、指定された都市のリストのすべての都市を訪れ、出発点に戻る最短のルートを見つけてください。各都市を訪れる回数は一度だけです。」という問いです。
都市の数が増えると、ルートの選択肢が爆発的に増加するため、非常に複雑な問題とされています。
