「データは多ければ良い」は本当か？データを減らしてAIの性能がアップする条件とは

本記事では、「どの条件でデータを減らすとAIモデルの性能が上がるか」という問いと、その理論的な背景・実験による裏付けを紹介します。

データは多ければ多いほど良い、そんな考えが当たり前に思われてきましたが、実際にはそうとも限らないようです。

LLMを始めとした機械学習モデルを活用する現場にとってヒントになる内容です。

背景

機械学習モデルを作るには、大量のデータが必要です。画像や文章、音声など、さまざまな分野で、大きなデータセットが使われています。

その中で「データが多ければ多いほど、モデルの性能も良くなる」という見方が根強いです。これはいわゆる「スケーリング則」と呼ばれ、「たくさんあればあるほど良い（more is more）」という考え方です。

でも、その学習のしかたにはムダも多く含まれています。

今よく使われている方法では、すべてのデータを同じように扱います。でも実際には、すべてのデータが同じように役立つとは限りません。モデルを賢くするのに役立つデータもあれば、似たようなものばかりであまり意味がないもの、さらには悪影響を与えるようなデータもあります。こうしたことから、”役立つデータだけを選んで使おう”という考え方が注目されています。

実際に、すべてのデータを使うのではなく、その中から少しだけ選んで学習させることで、全部を使うよりも良い結果が出ることがわかっています。

こうした「少ない方が良い（less is more）」という結果は、これまでの「多ければ良い」という考えとは正反対のように見えます。では、どんなときにデータを選ぶことが効果的なのでしょうか？ 逆に、どんなときは全部のデータを使った方がよいのでしょうか？

理論と実践の両面からこの考え方を紐解いていきます。LLMだけでなく機械学習モデル全般に関連する話です。

訓練データの質と選び方をどう定めるか

まず、話を分かりやすくするために、いくつかの前提を置いています。

データのラベルには間違いがある

ふだんの機械学習では、データは「入力」と「正解ラベル」のセットでできています。たとえば、画像分類なら画像が入力で、「猫」や「犬」といったラベルが正解です。この研究では、こうしたデータがどのように作られるかをモデルとして考えています。

ここで大事なのは、訓練データを作る「ジェネレータ」と、テストで使う「本当の正解の分布」とを分けて考えている点です。ジェネレータとは、訓練用のデータにラベルを付ける仕組みのことです。一方で、真の分布は、本当はどんなラベルが正しいのかを表しています。

この2つを分けている理由は、実際のデータではラベルに間違いがあることが多いからです。たとえば、人がラベルを付けるとミスすることもありますし、自動で付けた場合もズレが生じます。

データを選ぶルール

次に、どのようにデータを選ぶかというルールについて見ていきましょう。2つのタイプの選び方を分析しています。

①難しさだけを見てデータを選ぶ

1つ目は、ラベル（正解）を見ずに、入力データだけで選ぶ方法です。

ここでは「オラクル」と呼ばれる仕組みが出てきます。「オラクル」は、あるデータが「やさしいか」「むずかしいか」を見分ける役割を持っています。たとえば画像分類の場面では、「はっきり猫に見える」「はっきり犬に見える」画像は「やさしい」とされます。一方、「どちらとも言いがたい」画像は「むずかしい」とされます。これは、分類の境界にどれくらい近いかによって決まります。

この方法では、「むずかしいデータだけを使う」「やさしいデータだけを使う」といった選び方が考えられます。どちらがより効果的かは状況によって異なります。それを明らかにすることも、この研究の目的のひとつです。

なお、むずかしいデータ、やさしい（簡単な）データという言い方は本記事で繰り返し登場します。

②難しさと正解かどうかの両方を見て選ぶ

2つ目は、ラベル（正解）が合っているかどうかも考えてデータを選ぶ方法です。

ただ「むずかしいデータ」だけを選ぶのではなく、「むずかしくて、しかも正しいラベルがついているデータ」だけを使うという戦略です。

ここで大事なのは、学習者（モデルを訓練する側）は、オラクルに対して「このデータを使ってもいいか？」と聞くことはできますが、オラクルがどういう基準で判断しているかや、本当の正解ラベルそのものは見ることができないという点です。

これは現実の状況と似ていて、私たちもすべてのデータに完璧な答えを持っているわけではない、という前提に立っています。

データの良し悪しを測る指標が最適な選び方を決める

最後に、「ジェネレータの質」と「オラクルの質」を数値で表す方法について。

ジェネレータの質とは、訓練データのラベル（正解）が、本当の正解にどれだけ近いかを表します。質が高ければ、そのデータは信頼できます。逆に質が低ければ、ラベルにズレがあり、全部をそのまま使うとモデルの性能が下がる可能性があります。

オラクルの質は、データの「むずかしさ」や「正しさ」を見分ける力がどれくらい高いかを示します。質の高いオラクルは、本当に役に立つデータを正しく選ぶことができます。

ここまでが、分析の前提部分になります。

ジェネレータの質が、どんなデータを選ぶべきかを決める

理論から導かれた結果を見ていきます。「どんなときにデータを減らすと良いか」「いつ増やすべきか」が中心です。

ジェネレータの質が高ければむずかしいデータを、低ければやさしいデータを選ぶのがよい

まず、ラベルを使わずに難易度だけでデータを選ぶ場合を考えます。ここでは、残すデータの割合、ジェネレータ（ラベルの正確さ）、オラクル（難易度の判定精度）といった要素が重要になります。

計算の結果、最適な選び方がジェネレータの質によって変わることが示されました。

①ジェネレータの質が高いときは、「むずかしいデータを残す」方が効果的

モデルは基本をすでに習得しているので、応用力を伸ばすには難問が適しています。これは「less is more（少ないほうが良い）」の考え方に沿っています。

②ジェネレータの質が低く、ラベルに誤りが多い場合は、「やさしいデータを残す」方が安定

難しいデータには誤ったラベルが紛れやすく、学習が混乱するおそれがあるからです。

この理論は、「model collapse（モデル崩壊）」つまりモデルが自分の生成データを繰り返し学習して壊れてしまう現象への対処にもつながります。自己生成データは質の低いジェネレータに相当するため、適切なデータ選別がその防止に役立つと考えられます。

ラベルの正しさも考えれば、もっと効果的にデータを選べる

次に、ラベルの正しさも考えてデータを選ぶケースを見ていきます。

選び方が少し変わるため、数式の中の一部の定義も変わります。ここでは「むずかしくて正しいラベルが付いたデータ」だけを選ぶことができます。

それでも基本の結論は変わりません。

ラベルが正確ならむずかしいデータを選ぶのがよく、ラベルに誤りが多ければ簡単なデータを使った方がよい

という考え方は同じです。ただ、ラベルの正しさも判断できるこの方法の方が、実用的で効果も高いといえます。

実験結果が理論の予測とぴったり一致した

理論は、実際の状況でも本当に当てはまるのでしょうか。実験で確かめた結果を見ていきます。

実験結果①データが多くてラベルが正確なときだけ、選んだ方が効果がある

研究チームはまず、人工的な条件を設定し、ジェネレータの質（正確さ）とデータの量（多いか少ないか）を変えた4つの状況を用意しました。それぞれのケースで、「難しいデータを選ぶ」方法と「ランダムに選ぶ」方法を比べています。

その結果、理論の予測とぴったり一致しました。

まず、4つのうち3つのケースでは、「データは多いほど良い（more is more）」という考えが正しかったのです。

たとえば、以下が判明しました。

• データが少ないときは、ジェネレータの質に関係なく、全部のデータを使う方が良い結果になる
• ジェネレータの質が低いときも、データが多くてもすべて使った方が良い

一方で、「少ない方が良い（less is more）」が成り立ったのは、データが十分にあり、かつジェネレータの質も高いときでした。この条件では、難しいデータだけを選んだ方がモデルの性能が一番良くなったのです。

この実験は、データキュレーション（データの選別）がいつ効果を発揮するのかを、はっきり示しています。すべての場面で有効なわけではなく、限られた条件がそろったときに初めて意味があるということです。

実験結果②LLMにおいてモデルは同じでも、課題の内容で最適な選び方が変わる

次に、研究チームはこの理論を使って、LLMで見られた一見矛盾する結果を説明しています。

AIME（アメリカ数学オリンピック予選）の難問を使った実験では、たくさんのデータから質の高い問題を少しだけ選ぶことで、全体の性能が大きく向上することが報告されました。たとえば、11万問の中から1000問だけ選んだほうが、すべて使った場合よりも成績が良くなったのです。

ところが、AIMEの中でも特に難しい問題に絞ると、話は逆になります。この場合は、使うデータが多いほど成績が上がり、100万問使ったときが最も良い結果でした。

一見すると矛盾していますが、この理論はそれをうまく説明できます。

全体の平均性能を見る場合、多くの問題についてモデルはすでにある程度正しく答えられる状態です。つまりジェネレータの質が高いため、難しい問題だけを選んで学ばせる「less is more（少ない方が良い）」が有効になります。

一方、難しい問題に限ると、モデルはまだうまく解けません。ここではジェネレータの質が低くなり、たくさんのデータで基礎力を底上げする「more is more（多い方が良い）」の方が良い結果になります。

つまり、どちらの戦略が有効かは、モデルの力と問題の難しさのバランスによって決まるのです。この理論は、そうした現象に明確な説明を与えています。

実験結果③ImageNetを使用　適切なデータ選びでモデルの崩壊を防げる

最後に、研究チームは画像認識タスクImageNetを使って、理論が本当に成り立つかを調べました。

ここでは、あらかじめ学習したモデルを使って、新しいデータに自動でラベルを付けさせています。このモデルが、ジェネレータ（ラベル付け）とオラクル（難しさの判定）の両方を担います。ポイントは、このモデルの強さを、もとの訓練に使ったデータ量で調整できることです。16万枚の画像で学習したモデルは弱く、120万枚で学習したモデルは強くなります。

結果は理論どおりでした。弱いモデルでは「やさしいデータを選ぶ」方が良く、強いモデルでは「難しいデータを選ぶ」方が高い性能を出せました。後者では、真のラベルを使った場合に近いレベルまで達していました。

さらに重要なのは、モデル崩壊の防止です。実験では、モデルがつけたラベルで再学習を繰り返すシミュレーションを行いました。すべてのデータをそのまま使うと、回数を重ねるごとに性能が落ちました。一方、毎回「難しくてラベルが正しそうなデータ」だけを選んで使うと、性能の低下を防げました。

これは実用面でも重要な結果です。今後、モデルが自分で作ったデータで学習を続ける方法はますます使われるようになりますが、やり方を間違えると性能が落ちていきます。この研究は、適切なデータ選びによって、それを防げることを示しています。

実務への示唆

この研究から、AIを実際のビジネスで活用する際の重要な示唆が得られます。

データ収集に無制限の予算をかける前に立ち止まる

「データは多いほど良い」という考えは、必ずしも正しくありません。この研究は、状況によってはデータを選んで使った方が、少ないコストでより良い結果が出ることを示しています。

とくに、ある程度の性能を持ったモデルをさらに良くしたいときには、新しくデータを集めるよりも、すでにあるデータの中から質の高いものを選ぶ方が効果的なことがあります。データを集めるには、ラベル付けや計算にコストがかかります。

モデルの習熟度に応じて学習データを変える

この研究で実用的だった点の一つは、モデルの力に応じて使うべきデータが変わるということです。

モデルがまだ基本を学んでいない初期の段階では、いろいろな種類のデータを幅広く使うのが効果的です。一方で、ある程度うまく動くようになったら、よりむずかしいケースや、例外的なケースにしぼって学習させる方が効果が出ます。

タスクごとに戦略を変える必要がある

同じモデルでも、タスクの難しさによって最適な使い方は変わります。

たとえば、カスタマーサポート用のモデルを考えてみましょう。よくある質問への対応では、すでにモデルが十分に機能しているかもしれません。そうした部分をさらに良くしたいなら、難しい質問だけを選んで学習させる方が効率的です。一方で、まったく新しいタイプの問い合わせに対応させたい場合は、その分野のデータを幅広く集めて学ばせる必要があります。

つまり、どのモデルにも同じ戦略を当てはめるのではなく、「このモデルがこのタスクにどれくらい対応できているか」を見たうえで、学習方法を決めます。

自己生成データを使う場合は選別が必須

最近では、モデルに学習させるデータを、別のAIが生成するケースが増えています。これは、コストを抑えたり、データが足りない場面で役立つからです。

ただし、この研究は重要な注意点を示しています。生成されたデータをそのまま使い続けると、モデルの性能がだんだん下がってしまう「モデル崩壊」が起きる可能性があるというのです。

これを防ぐには、生成されたデータの中から、信頼できるものだけを選ぶ必要があります。たとえば、コードならコンパイルできるか、数学の問題なら答えが合っているか、といった形で正しさをチェックする。あるいは、難しすぎず、ちょうどよい難易度のデータを選ぶことです。

データ品質の評価に投資する

この研究の中心にあるのは「ジェネレータの質」という考え方です。実務では、これは訓練データのラベルがどれだけ信頼できるかを意味します。

多くの現場ではデータ収集には力を入れますが、ラベルの質を評価する作業には十分な時間や予算が割かれていないことが多いです。しかし、この研究が示したように、データの質こそが学習戦略を左右する重要な要素です。

たとえば、クラウドソーシング、自動ラベリング、専門家によるラベルでは、それぞれ質が大きく異なります。効率よくモデルを改善するには、定期的にサンプルを確認してラベルの精度をチェックし、それに応じてデータの使い方を見直すことが欠かせません。

小さく始めて効果を測定する

この研究の内容を実務で活かすには、まずは小さな実験から始めるのがよさそうです。

たとえば、既存のデータから「難しいものだけを使う学習」と「すべてのデータを使う学習」を比べてみるのも一案です。また、新しいタスクに取り組むときは、「少量の厳選データ」と「大量の未選別データ」で、どちらがうまくいくかを確かめるのもよいでしょう。

どの方法が自分たちのモデルやデータに合っているかは、実際に試してみないとわかりません。ただ、この研究で示された原則を参考にすれば、なんとなく試すのではなく、仮説を立てたうえで検証することができます。

まとめ

今回取り上げた研究は、データをすべて使うのではなく、うまく選んで使うことでモデルの性能を高められる、という考えに理論的な根拠を与えています。

理論と実験の結果はよく一致していて、「いつデータを絞るとうまくいくのか」が明確に示されました。どのようなデータを選ぶべきかは、モデルの実力やラベルの信頼度によって変わります。

「たくさん集めればいい」という発想だけではなく、「今のモデルに合ったデータをどう選ぶか」を考えることが、よりよい学習や効率のよい開発につながりそうです。