nature本誌で、従来の（一般的な）ニューラルネットワークでもChatGPTなどを凌駕するほど高度な生成AIの構築ができるとの研究報告がありました。
少量のデータで効果的である可能性もあり、生成AIにおけるコストや資源の問題、データの問題を解決する潜在的価値のある技術です。
さらに、体系的かつ柔軟な「人間のような言語汎化能力」を持つとされ、最近の大規模言語モデルがまだ達成していないレベルだと述べられています。
ニューヨーク大学などの研究者らが発表しました。
@ Brenden M. Lake and Marco Baroni “Human-like systematic generalization through a meta-learning neural network”, nature
現在のテキスト生成AIの主流であるLLMは、訓練データに強く依存しており、新しい構造を正確に処理する能力に限界があると言われています。
一方で、従来のテキスト生成モデルであった人工ニューラルネットワークは、学習した要素を組合せることが苦手だとされていました。
そこで研究者らは、人工ニューラルネットワークに対して新しいフレームワーク『メタ学習による体系性（MLC）』を導入し、最先端のLLMを凌駕する潜在能力を持たせることを目指しました。
■『メタ学習による体系性（MLC）』とは
① 特定の問題に特化したデータやパラメータ、設定は不要
② メタ学習を活用することで、新しいタスクや未知の概念に対しても効率的に適応する能力を持つ
③ テキスト生成などの生成AIとしても機能する
■そもそも「メタ学習」とは
学習する方法自体を学習する手法です。
つまり、新しいタスクに効率的に適応する能力を高めるための学習です。
■MLCの性能評価
① 人間の行動実験と機械学習の実験を組み合わせて実施
② 指示学習パラダイムを使用して、人間とAIの学習能力と一般化能力を評価
③ 未知の単語や概念に対するAIの反応も詳細に調査
■評価実験の結果
① MLCフレームワークは人間レベルの体系的一般化を達成
② 未知の単語や概念に対しても、人間のような高度な一般化能力を示す
③ ChatGPTなどの既存のAIモデルを凌駕する性能が確認された
要するに、人間とMLCが同じようなタスク（指示に従って色付きの円を生成）を行い、結果がかなり類似していたので、MLCの能力の一端が証明されたとのことです。
■結論と今後の展開に関する考察
① MLCは、人間のように言語で体系的一般化を行うと期待される
② 未知の単語や概念に対しても効果的に機能する
③ 従来型のニューラルネットワークでも高度な生成AIが可能であることが示された
④ メタ学習には大規模なデータセットが必ずしも必要でない場合がある
（高度な生成AIの訓練コストがかなり下がるかもしれない）
⑤ ただし、本研究で必要となった訓練時間やコストは公開されていない
