本記事では、LLMが入力のどこに注目するのかを「コンテキストの長さ」という観点から検証した研究を紹介します。

プロンプトの中で中央の情報が無視されやすくなる「Lost in the Middle」という現象は知られていますが、これまでの研究では結果にばらつきがありました。その理由を明らかにするため、今回は入力の長さではなく「どの程度ウィンドウを使っているか」に着目しています。

プロンプト設計やタスク実行の際に、情報をどこに置くべきかを考えるヒントになる内容です。

背景

LLMでは、扱える入力の長さ（いわゆるコンテキストウィンドウ）が拡大しつづけています。現在では十数万から数十万トークンに及び、大量の情報を一度に処理できるようになってきました。

ただし、何でもかんでも情報を詰め込めばうまくいく、というわけではありません。モデルが入力のどの部分に注目するかは、情報の配置によって大きく左右されます。冒頭や末尾にある情報は重視されやすい一方で、中央にある情報は無視されやすい傾向があります。こうした現象は「Lost in the Middle」効果と呼ばれています。

この位置バイアスの影響は、モデルの種類やコンテキストウィンドウの長さによって異なると考えられています。

そこで本記事では、入力の絶対的な長さではなく、「そのモデルのコンテキストウィンドウに対して、どれくらいの長さか」という相対的な視点から位置バイアスをとらえ直し、どのような条件でこの効果が現れるのかを詳しく分析した取り組みを取り上げます。