本記事では、LLMの多段階推論能力を向上させるために考案された新しい手法について紹介します。

研究者らは、「文脈を繰り返し提示する」という単純な方法が、LLMの推論性能を大幅に改善することを突き止めました。LLMが「文書の順序」に対して敏感であるという問題への解決策です。

重要なお知らせ：AI分野のお仕事マッチングサービス「AIDB HR」を開始しました！登録後はオファーを受け取るだけのシンプルなサービスです！現在、期間限定で、ギフト券が必ずもらえる新規登録キャンペーンも行っています。

背景

複数の文書を参照しながら段階的に推論を進める「多段階推論」と呼ばれるタスクは、LLMにとってまだ難しい課題となっています。質問に関連する複数の文書から役立つ情報を探し出し、それらを組み合わせて答えを導き出す必要があるタスクです。

多段階推論では、LLMはいくつかの課題に直面します。まず、答えに関係のない情報をうまく除外できないことがあります。また、文章の位置によって推論の精度が大きく変わってしまうという問題もあります。実際、長い文脈の中央部分にある情報は、モデルに見落とされてしまうことがあります。

さらに今回研究者らは、「文書が提示される順序によってLLMの推論性能が大きく変わってしまう問題」にも新たに注目しています。例えば、同じ内容の文書でも、提示順序を変えるだけで回答の正確さが変わってしまいます。

この「文書の順序による問題」は、実際のタスクでは避けられない課題です。なぜなら、LLMに最適な順序で文書を提示できる保証がないからです。

そこで研究者らは、この問題を解決するための新しい方法を提案しています。与えられた文脈（複数の文書）を繰り返し提示することで、LLMが最適な順序で文書を理解できるようにするというものです。

本手法の詳細と実験結果を以下に紹介します。