指示が増えると、LLMの性能はどれだけ低下する？

本記事では指示が増えたときにLLMがどれだけ性能を保てるのかについての体系的な評価を紹介します。

文章生成とプログラミングの二つの領域で、10種類の主要なLLMを調べています。どのようなテストが行われたのか、どんな結果が得られたのか、そして実務での示唆について順を追って見ていきます。

背景

LLMを使っていて、こんな経験はないでしょうか。

「この文章を要約して。ただし箇条書きで、500文字以内で、専門用語は避けて、ですます調で書いて」と指示したら、一部の条件が無視されていた。

あるいはプログラミングで「この機能を実装して。インデントは2スペースで、コメントは英語で、変数名はキャメルケースで、行は80文字以内に」と頼んだのに、途中から指示がごちゃ混ぜになっていた。

実は、この「複数の指示を同時に守る」というのは、LLMにとって思いのほか難しい課題なのです。

普段の使い方を思い返してみると、単純な指示だけでAIを使うことはほとんどありません。「コードを書いて」だけでは実務では使えず、チームのコーディング規約、ドキュメント要件、パフォーマンス条件など、複数の制約を同時に満たす必要があります。ビジネス文書も同じです。「プレゼン資料を作って」の後ろには、文字数制限、トーン指定、フォーマット要件、禁止ワードなど、実際には5個も6個も条件が付いてきます。

そこで本記事では、複数の指示を同時に守る必要のある課題で、LLMはどれほど精度を保てるのかを実験した取り組みを紹介します。以前の記事よりもさらに明確に「多様な指示」を増やしているのが特徴です。