LLMアプリケーション約1,500事例から学ぶプロンプトテンプレート

「プロンプトの書き方を工夫すれば、高コストな上位モデルを使わなくても安価なモデルで十分な品質の応答が得られる場合も多い」という実用的な知見が報告されています。

LLMアプリケーション1,000事例を調査分析した結果、そのような示唆が得られたとのこと。

なお、ほとんどのプロンプトテンプレートは”質問”ではなく”命令”の形式で書かれており、出力はJSONで構造化されるのが一般的であることが明らかになりました。また、「～～はしないでください」といった制約が多用されているそうです。

最終的に、現状における「プロンプトテンプレートの効果的な書き方」、「JSON出力形式の指定方法」、「制約の書き方パターン」などが体系的に明らかになっています。

背景

LLMを使ったアプリはどんどん増えており、幾多のサービスが世の中に出ています。それに伴い、自然な言葉でモデルに指示を出す「プロンプトエンジニアリング」がとても大切になってきています。

ただ、ここで問題があります。ユーザー目線で考えたとき、「効果的なプロンプトを作るのは思ったより難しい」ということです。

この問題に対処するため、多くの開発者は「プロンプトテンプレート」という方法を使っています。ユーザーにプロンプトを毎回ゼロから書かせるのではなく、「システム側で考えた固定部分」と「必要な分だけユーザーに記述させる部分」を組み合わせる方法です。

しかし現状では、このプロンプトテンプレートの作り方にはっきりとしたルールがありません。各開発者が自分の経験と試行錯誤だけを頼りに作っているため、「どうすればもっと効果的なテンプレートが作れるのか？」という実践的な質問に対する共通の指針が足りていません。

LLMを導入する企業やエンジニアたちは、「出力をどう整えればいいか？」「余計な説明をどう減らせばいいか？」「テンプレートの中の要素をどんな順番で並べるべきか？」といった疑問に直面します。
なお、個人的にプロンプトテンプレートを整理する際にも、まったく同じ課題が出てきます。

また、多くの場合、LLMを使う際に最新の高性能モデルを選びがちですが、実は適切なテンプレート設計をするだけで、比較的安いモデルでも十分満足できる品質の出力が得られる可能性があります。

つまりテンプレートは、その設計次第でコスト効率が大きく変わるため、どのモデルを選ぶかやプロジェクトの成功にも影響する重要な要素です。

このような背景から、研究者たちは「実際のLLMアプリケーションで、プロンプトテンプレートがどう設計され、どんなパターンや要素が効果的なのか」を体系的に調査・分析しました。

GitHub上の1500以上のLLMアプリから2000件以上のプロンプトテンプレートを集め、それらを分類・分析し、さらに様々なテンプレートパターンを使って実際の出力結果を比較する実験も行いました。

その結果、「より効果的で安定したプロンプトテンプレートの設計方法」についての知見が得られました。
LLMアプリ開発者だけでなく、個人的にプロンプトテンプレートを整理したい、いちユーザーの方々も参考になる内容です。

以下で詳しく紹介します。