LLMは「難しい問題タスクに対して簡単な知識データからでも学習する」能力を持つ可能性が、実験で示されています。
結論として、もし難しい問題に対応するデータ取集にコストがかかる場合は、簡単なデータで取り組む方が効率が良いのではないかと提案されています。
“The Unreasonable Effectiveness of Easy Training Data for Hard Tasks”より
■これまでの問題と今回のテーマ
– LLMの強化に使用するデータ集めのコストが高い
– 難易度の高いタスクに注目が集まっている
→簡単なデータで学んで難しい問題に対応できるか検証したい
■実験内容
– 高校レベルを中心とした複数学年のデータを用意した
– Mixtral-8x7Bモデルを訓練した
– 複雑な推論を必要とする難しい問題を取り組ませた
（訓練データと問題にレベルの差があった）
■実験結果
– 上記の条件でもモデルの回答精度は高いことがわかった
– 難しいデータで訓練したモデルと比較して、70〜100%の性能を発揮した
興味深いことに、時にはむしろ簡単なデータで訓練した方が良い結果をもたらす場合も見られたようです。
なお、「難易度」という概念は複数の観点を持つため、さまざまな側面から定義する必要があることに注意が必要だとしています。
