LLMによるプロンプトの書き直しは本当に実用的　実際の会話データ数百万件をもとに得られた7つの知見

結論から言うと、”LLMによるプロンプトの書き直し”は本当に実用的だと報告されています。

Microsoftなどの研究者らは、数百万件におよぶ実際の会話データをもとに、LLMによるプロンプトの書き直しによってLLMから「より優れた回答」が得られるのかを確かめました。

その結果、

1. 普遍的に明確な効果がある
2. 会話が長く続くほどプロンプト書き直しの効果が大きい　など

全部で7つの実用的知見が明らかになりました。

背景

人間がLLMとやり取りする機会は、仕事や日常生活の中でますます増えています。しかし、自分の意図をLLMに明確に伝えるプロンプトを作ることは難しく、望んだ回答が得られない状況は頻繁に生じます。

例えばLLMで資料作成や情報収集といったことをやるにしても、LLMが理解しやすいプロンプトを書ける人とそうでない人がいます。プロンプトが曖昧だと、LLMが適宜内容を推測して回答を生成するため、ユーザーの本来の意図とは異なる回答を提示する場合があります。

プロンプト改善を支援する既存ツールもありますが、専門知識を持つ一部のユーザー向けのものが多く、一般的なユーザーが手軽に利用できる状況にはありません。その結果、一部のユーザーにとっては、LLMの活用において十分な利益を得られているとは言えない状況があります。

こうした背景の中、今回マイクロソフトなどの研究チームは、”LLM自身にプロンプトの書き直しを行わせる”ことでユーザーが望む回答は得やすくなるのかを検証しました。このテクニックはユーザーコミュニティでは親しまれてきましたが、実際の膨大な会話データで効果を検証されたのは今回が初です。

研究者らは、さまざまな種類や規模のLLMを調査し、プロンプト書き直しの効果を幅広く確認しました。 その結果、単に有効性を確認するだけではなく、プロンプト書き直しのプロセスで役立つ実用的なノウハウや知見も合計で7つ得ることができました。

以下で詳しく紹介します。