指示が増えるとLLMはどうなるのかを限界まで検証した結果

本記事では、LLMに多数の指示を与えたときにどのような挙動を示すのかを検証した研究を紹介します。

最近のLLMはコンテキストウィンドウ（入力文字数）の拡大により、一度に多くの条件を詰め込んだプロンプトが現実的になってきましたが、その限界は明確ではありません。

そんな中、最大500個の指示を用いて複数のモデルの性能劣化やエラー傾向が詳細に分析されています。
実運用に向けて、どのモデルがどんな場面に適しているかを見極めるための参考になりそうです。

背景

LLMは一度にいくつまでの指示に従えるのか、気になりませんか？
プロンプトの工夫で複雑なタスクをこなしてくれるLLMですが、指示が多くなると徐々に精度が落ちるのではないかという不安を感じたことがある方も多いはずです。

業務では同時に処理すべき指示が非常に多くなります。コンテンツ生成のガイドラインや事実確認の要件、自動化フローに含まれる多様なビジネスルール、エージェントに求められるメモリ管理やツールの使い分けなど。そのため、モデルが複数の制約を正確に守れるかどうかは、実運用における関心ごとでもあります。

LLMは最大数百万トークンを処理できる大きなコンテキストウィンドウを備えており、理想的には多くの指示を与えても全てに応えてほしいところです。しかし、実際には限界があるはずです。とはいえ、何個までなら「ちゃんと従える」のでしょうか？これは、今まであまり調べられていませんでした。既存のベンチマークの多くは、1〜数個の指示しか含まれておらず、指示が100個、200個と増えたときにどうなるかまでは見ていないのです。

そこで本記事では、指示の密度が上がるにつれてモデルの振る舞いがどう変わるのか調査した事例を取り上げます。大量の指示を詰め込んだプロンプトを使い、モデルがどこまで対応できるのかが調べられています。扱っているタスク自体は単純ですが、その先にあるのは「LLMの限界とは何か？」という問いです。