本記事では、LLMのプロンプトを「内容」と「書式」の両面から最適化する新しい手法を紹介します。

従来の手法は内容のみを対象としてきましたが、実は書式のわずかな違いによってもモデルの性能が大きく左右されることが最近の研究で判明しています。そこで、内容と書式を一体的に調整する方法が開発されました。

背景

LLMが実際の業務やタスクで真に効果を発揮するかどうかは、モデルへの「問いかけ方」、つまりプロンプトの設計に大きく左右されます。良いプロンプトはモデルの性能を引き出し、ユーザーが望む出力を効果的に得るための鍵となりますが、一方で、プロンプトを人手で最適化することには課題があります。

その課題とは、LLMがプロンプトの微妙な変化に非常に敏感であるという性質に起因しています。たとえば、同じ内容の質問であっても、言葉遣いや文の構成をわずかに変えるだけで、LLMが返す回答が大きく異なることがあります。

また、モデルごとに「好むプロンプト形式」が異なるという性質があり、あるモデルで高性能なプロンプトが別のモデルではうまく機能しないこともあります。そのため、人が事前に万能なプロンプトの形式を決めることは難しいです。

これまでの研究では、そのような課題を解決するために、自動的にプロンプトを最適化する手法が提案されてきました。しかし、多くはプロンプトの「内容」だけに焦点を当てており、プロンプトをどのような構造や形式で提示するかという「書式（フォーマット）」については十分な検討が行われてきませんでした。

プロンプトの内容と書式が密接に関わり合っており、これらを分けて考えることは実際には難しいことが最近の調査で明らかになっています。モデルごとの細かな特性に合わせてプロンプトを調整するには、内容と書式を一体的に最適化する手法が必要になっています。

そこで今回Microsoftなどの研究者らは、内容と書式を同時に最適化する新しい手法の開発に取り組みました。