自らファインチューニングデータを生成し、重みを更新する能力を持つ言語モデルの仕組みを開発したとのMITの報告。
平たく言うと新しいタスクや知識に適応するよう自らの体を作り替えるAIの発明です。
基本的に、既存のAIは人間が用意したデータをそのまま学習するしかありません。今回のAIは新しい情報を受け取ったとき、その情報を自分なりに理解しやすい形に書き直してから学習します。
この仕組みで生み出されるファインチューニングデータは、既存の大規模モデルによる合成データよりも効果的であったそうです。
全く解けなかった問題が72.5%も解けるようになったり、知識の記憶テストで大幅に成績が向上したりすることも確認済みとのこと。
2028年頃には人間が書いた文章がインターネット上で枯渇すると予測されているため、AIが自分で学習材料を作り出す能力は非常に重要になると考えられています。
