AIがAIを設計するGenesys、GPT-2超え

AIが新しいAIモデルを完全に自動で設計・開発・評価できるシステムを作ったとのこと。

AIエージェントが論文を検索して読み、新しい言語モデルのアーキテクチャを提案し、その提案を査読し、さらに実際にプログラムコードを書いて実装し、最後に性能テストまで行うという仕組み。

通常、AIモデルづくりは、人が論文を読んで新しいアイデアを考えて、プログラムを書いて、実験をして結果を評価するというのが一般的です。そのすべてのプロセスをLLMに任せてしまった。

このシステムは1000個以上の新しい設計を短期間で生み出し、それぞれをきちんと実験して評価するそうです。
そして自動で作り出された新しいAIモデルは小規模ながら、人間が設計したGPT2やMamba2といった有名なモデルより実験上優れていたようです。

計算資源と予算さえあれば、大規模モデルの自動設計にも応用できそうです（今のところは「安くたくさん試せる小型・中型モデル」にフォーカスされています）。

AIが自分でAIを改良するパラダイムの訪れを示唆するような報告です。

*「完全自動」と言っても、計算資源の割り当てやプロンプト設計など、実験設定にはまだ人手が介在しています。