本記事では、LLMの出力長を文字数単位で制御する新たなプロンプト手法を検証した研究を紹介します。
指定通りの長さで出力させたくてもLLMは制御をあまり得意としておらず、期待通りの出力を得るのは難しいのが現状です。
今回紹介する手法は、そんなモデルの弱点を補う工夫がなされています。
背景
LLMによる文章生成では、出力の長さをうまくコントロールするのが難しいことがあります。文字数や単語数の制約に合わせて出力を調整したい場面は日常的にありますが、思い通りの長さにならないと使いづらい問題があります。
たとえば「100単語で書いてください」といった指示を与えても、その通りにはなりません。長すぎたり短すぎたりする出力が返ってくることがあります。これは、モデルにカウンターのような仕組みがなく、内部でトークン数を正確に数えるのが難しい構造になっているためです。
そこでいくつかのアプローチが提案されてきましたが、いずれも計算コストが高かったりモデルの重みへのアクセスを前提としたりと現実的ではありません。
こうした状況のなか、モデルの内部にカウンター機能を持たせるのではなく、プロンプトの設計によって外部からカウントを補助するという新しいアプローチが考案されました。
なお、当社が実際に試したところ、日本語でも役立つことがわかっています。
以下で詳しく紹介します。
