大規模言語モデル（LLM）の性能はプロンプトに大きく依存します。
研究者らは今回、プロンプトのシステムメッセージにおける「ポジティブ思考」の影響を定量化し、さらにLLM自身によるプロンプト最適化と比較しました。
結果、「ポジティブ思考」の効果を確認し、さらに自動最適化がより効果的であることを明らかにしました。しかし、最適化されたプロンプトは時に人間の予想を超えた奇妙さを示したのです。

背景

LLMが発展するにつれ、その基本性能に影響を与える機微を理解しコントロールすることが、モデルの可能性を最大限に引き出すために不可欠になっています。

モデルの性能に影響を与える多くの要因の中で、意外にも「ポジティブ思考」が浮上してきました。直感的には、「ポジティブ思考」が性能に影響を与えることは（他のコンピュータと同様に）考えにくいですが、実際には経験的に結果が示されています。

そこで研究者らは影響を定量化するために、プロンプトのシステムメッセージに様々な「ポジティブ思考」を追加することで、実験を行いました。質問に対する応答の変動を測定することで、一見無価値なプロンプトの効果を探ります。

また、体系的かつ自動的なプロンプト最適化の効果にも迫ります。その中で、高い効果のある自動生成プロンプトの中には、人間の専門家が思いもつかないものがでてきました。

以下で詳しく紹介します。