専門家が作成したプロンプトと同等以上の性能を達成する自動プロンプト生成手法『Minstriel』

本記事では、構造的なプロンプトを設計するためのフレームワーク『LangGPT』とプロンプト生成ツール『Minstriel』を紹介します。

研究者らは、これら2つを併せることによって、プログラミング言語の概念を取り入れた設計でプロンプト自動生成の実現を目指します。

本研究の狙いは、専門家ではない人でもLLMの能力を引き出せるようにすることです。実験では、様々なタスクでの有効性検証と、ユーザー調査による使いやすさの評価が行われています。

背景

LLMの能力を最大限に活用するのは難しいことです。プロンプトエンジニアリングという概念が考案され、LLMとの効果的なコミュニケーションを通じて、望ましい出力を得るための手法が研究されてきました。

しかし、これまで考えられてきたプロンプト設計手法には課題がありました。プロンプトの書き方のコツがまとめられたり、自動最適化手法が開発されたりしましたが、コツや既存の自動化手法には体系がなく、さらに人間の学習コストが高いという問題があります。専門家ではない人にとっては特に難しいものです。

そこで今回研究者たちは、プログラミング言語からヒントを得て、新しいアプローチを考案しました。プログラミング言語は体系的で再利用可能であるといった特徴を持っています。この特徴を踏襲して、自然言語の柔軟性と組み合わせることで、使いやすくかつ効果的なプロンプト設計の枠組みを作り出そうとしたのです。

以下で今回開発された手法と実験結果を紹介します。