LLMの学習原理と人間の教育の類似性を、タスク内容の側面から示す論文が公開されています。
ルールが明確な場合にはプロンプトによる例示（コンテキスト内学習）が有効であり、そうでない場合にはモデルの重みを変更するレベルで様々な異なる問題を学習するのが推奨されています。
“Human Curriculum Effects Emerge with In-Context Learning in Neural Networks”より
■研究の背景
– 人間の学習効率は、カリキュラムに左右される
– ルールが明確な場合とそうでない場合でカリキュラムは異なる
– LLMにもこのような現象があるのかを確認したい
■実験内容
– GPT-3.5とLlama 2に対してルールが明確な場合とそうでない場合でフューショットプロンプトの効果を実験
– コンテキスト内学習の効果を内包する単一のTransformerモデル（※メタ学習で実現）にランダムなタスクと9つの異なる教材が与えられた
■実験結果
– ルールベースのタスクでは、関連する例を示すフューショットプロンプト（コンテキスト内学習）が効果的だった
– ルールが不明瞭なタスクでは、コンテキスト内学習の効果は示されなかった
– 一方で、ルールが不明瞭なタスクでは重みの変更による様々な教材の学習が有効だった
本実験結果を実用上の知見に落とし込むと、次のようになります。ルールやパターンが明確なタスクでは、関連する情報をプロンプトで提示する戦略が効率的です。一方で、ルールやパターンが不明瞭なタスクに対しては、異なる種類の問題をもとにモデルの重みを変更するのが推奨されます。
