AIに「自分より良いAIを設計してみせろ」と言ったら、やってのけた。
Metaが、LLMエージェントに「Transformerを超えるニューラルネット構造の設計」を任せてみたところ、Llama 3.2を一貫して上回るアーキテクチャを14個発見したそうです。
生まれてきた設計の多くは既存手法の賢い組み合わせとも解釈できるもので、組み立てる力が一流。
ただし、新しい理論的な発明と言えるほどのアウトプットはまだ出ていないため、発明する力はまだこれからに期待というのが現時点の評価のようです。
とはいえ、AIが次世代AIモデルの設計者になりつつあるという、いわゆる”再帰的自己改善”の入り口を実証した研究としては、見どころがあります。
