LLMの精度が変わるのはプロンプト内の「情報の位置」のせいかもしれない

本記事では、LLMの精度がプロンプト内の文章の配置によってどれほど変化するのかを検証した研究を紹介します。プロンプト設計の際に、内容だけでなく「どの情報をどこに置くか」にも気を配ることの重要性が見えてきます。

背景

LLMは進化し、さまざまなタスクで高い精度でこなせるようになってきました。こうした性能の背景には、「文脈内学習」という仕組みがあります。プロンプトに参考事例（問題と答えの組み合わせ）をいくつか含めることで、モデルが新しいタスクに対応できるようになるというものです。

ただし、この文脈内学習には不安定な面もあります。例えば、プロンプトの書き方によって結果が変わるという話が有名です。参考事例の内容や言い回しで性能が変化することが明らかになっています。

しかしプロンプトの中で参考事例を「どこに置くか」の影響については、あまり詳しく調べられていません。たとえば、指示文の前か後か、ユーザーの質問の直前か直後かといった「位置」も重要です。

そこで本記事では、プロンプト内における参考事例の位置がモデルの性能にどれくらい影響するのかを体系的に調べた研究を取り上げます。分類、推論、生成などの8種類のタスクを使い、例題の中身を変えずに位置だけを動かしたときに、出力がどう変わるかを丁寧に測定しています。