大規模言語モデル（LLM）の性能はプロンプトに大きく依存します。
研究者らは今回、プロンプトのシステムメッセージにおける「ポジティブ思考」の影響を定量化し、さらにLLM自身によるプロンプト最適化と比較しました。
結果、「ポジティブ思考」の効果を確認し、さらに自動最適化がより効果的であることを明らかにしました。しかし、最適化されたプロンプトは時に人間の予想を超えた奇妙さを示したのです。
AIスキル人材と企業をつなぐマッチングサービス「AIDB HR」を開始しました！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。
参照論文情報
- タイトル：The Unreasonable Effectiveness of Eccentric Automatic Prompts
- 著者：Rick Battle, Teja Gollapudi
- 所属：VMware NLP Lab
背景
LLMが発展するにつれ、その基本性能に影響を与える機微を理解しコントロールすることが、モデルの可能性を最大限に引き出すために不可欠になっています。
モデルの性能に影響を与える多くの要因の中で、意外にも「ポジティブ思考」が浮上してきました。直感的には、「ポジティブ思考」が性能に影響を与えることは（他のコンピュータと同様に）考えにくいですが、実際には経験的に結果が示されています。
そこで研究者らは影響を定量化するために、プロンプトのシステムメッセージに様々な「ポジティブ思考」を追加することで、実験を行いました。質問に対する応答の変動を測定することで、一見無価値なプロンプトの効果を探ります。
また、体系的かつ自動的なプロンプト最適化の効果にも迫ります。その中で、高い効果のある自動生成プロンプトの中には、人間の専門家が思いもつかないものがでてきました。
以下で詳しく紹介します。
また記事の購読には、アカウント作成後の決済が必要です。
※ログイン/初回登録後、下記ボタンを押してください。
AIDBとは
プレミアム会員（記事の購読）について
■サポートのお願い
AIDBを便利だと思っていただけた方に、任意の金額でサポートしていただけますと幸いです。
PAGE TOP