LLMが自己学習で未知のNN設計を発見

ヴュルツブルク大学の研究者らによると、LLMは自分が生成したニューラルネットワークの設計図を繰り返し学習することで、これまで存在しなかった新しい優れたニューラルネットワーク設計を自力で創り出せるようになるとのこと。

研究者らはLLMに「良いニューラルネットワークの設計図を書いて」を22回繰り返しました。
そして生成された設計を実際に動かして評価し、うまくいったものだけを選んで再学習させるというサイクル。
なお、各サイクルで数十〜数百の設計をしています。

最初の段階ではLLMが生成した設計のうち性能が良いものはわずか2%程度でしたが、最終的には93%程度が良い設計になりました。
実験では、元の学習データには存在しなかった455個の新しい設計パターンを生み出しています。

人間によるコメントなしでも、良い設計だけを次の学習データに入れるだけで、モデルは自然と「どういう設計が良いのか」を学んでいったといいます。
このことは、LLMがテキストには明示されていない経験的な知識を吸収し、訓練データの単純な暗記を超えた創造性を発揮できることを示しているとのことです。