GPT-4やClaude 3といった最先端の性能を持つLLMが、回帰問題をどれほど解けるのかが調査されました。

実験の結果、LLMは、回帰問題タスクに特化した機械学習モデルに匹敵する性能を発揮しました。
LLMに対しては回帰問題の解き方を細かく教えたのではなく、問題と答えの例をいくつか見せただけ（Few-Shotのコンテキスト内学習）でした。

なお回帰問題とは、一連の入力に対して傾向を予測する統計的手法です。直線で表せるものを線形回帰、曲線で表すものを非線形回帰と言います。

背景

LLMの「コンテキスト内学習」と呼ばれる能力に注目が集まっています。少ない例（コンテキスト）から新しいタスクを学習する能力のことを指します。

多くの研究者が、このコンテキスト内学習の仕組みを解明しようと研究を進めています。その中で、コンテキスト内学習と機械学習の基本アルゴリズムとの関係を探る研究も盛んです。理論的には、LLMがコンテキスト内学習で、例えば勾配降下法（機械学習の基本アルゴリズムの一種）を近似的に実装できることは示されているのですが、実際のLLMがそのような振る舞いをしているかどうかは議論の余地があり明らかにはされていません。

また、コンテキスト内学習の性能を評価する研究も行われています。例えば、例が増えるにつれてLLMの予測がどう改善されるか、どのようなタイプの関数をLLMが学習できるかなどが調べられています。

これまでの研究の多くは、シンプルなモデルや、タスク専用に学習されたモデルを使ったものでした。事前学習済みのLLMを使って、実践的なタスクにおけるコンテキスト内学習の性能を評価した研究はあまりありません。

そこで今回、研究者らは事前学習済みのLLM（GPT-4やClaude 3など）を使って、回帰問題におけるコンテキスト内学習の性能を評価することにしました。

回帰問題とは

回帰問題とは、データから数値を予測するタスクのことです。例えば、過去のデータから将来の売上を予測するのは回帰問題の一例です。

回帰問題には、大きく分けて線形回帰と非線形回帰の2種類があります。線形回帰は、データの間に直線的な関係があると仮定するシンプルなモデルです。一方、非線形回帰は、データの間により複雑な関係（曲線的な関係など）を仮定するモデルです。

LLMは本来、文章の生成や理解を得意とするAIなので、このような数値予測のタスクにどの程度対応できるのかは自明ではありません。LLMがコンテキスト内学習のみで回帰問題を解けるのかどうかは、実証的に確かめる必要があります。

今回は線形回帰と非線形回帰の両方におけるコンテキスト内学習の性能が評価され、伝統的な機械学習モデルとの詳細な比較も行われました。

以下で詳しく紹介します。