「ポジティブ思考」をプロンプトに含むことでLLMの性能が向上することが示唆されました。
さらに、手製のポジティブ思考プロンプトよりも、LLM自身によって最適化されたプロンプトの方が優れているとのこと。
ただし、最適化後のプロンプト文は、人間からすると時に奇妙だそうです。
“The Unreasonable Effectiveness of Eccentric Automatic Prompts”より
■「ポジティブ思考」の検証
– Mistral-7B、Llama2-13B、Llama2-70Bを使用
– 数学的推論タスク（GSM8Kデータセット）を実施
– 60種類のポジティブ思考をシステムプロンプトに設定
（あなたは賢いです、これは楽しい仕事ですよ等）
– ほとんどのケースでポジティブ思考が性能向上に貢献
→ただし人の手でポジティブ思考プロンプトを練り上げるのは労力がかかる
■LLM自身による最適化の検証
– 各モデルによってタスクに応じたプロンプトを最適化させる
– 手製のポジティブ思考プロンプトの場合と性能を比較
– ほとんどのケースで最適化後のプロンプトが優秀だった
■自動最適化後のプロンプトが奇妙だった例
– 「スタートレック」を突然参照する
– 「大統領の顧問の命がかかっている」などと言う
※数学の問題を解いています
