GPT-4ベースのエージェントはさまざまなタスクで有効な機械学習モデルを構築できるとの報告です。
さらに、そういった「LLMエージェントのMLエンジニアとしての能力」を測定するベンチマークも公開されました。
スタンフォード大学の研究者らによる発表です。
○ Qian Huang et al., “Benchmarking Large Language Models As AI Research Agents”
これまで開発されてきた「MLモデルを自動的に作成するシステム」は、それぞれ特定のタスクに対応しています。
本来は、さまざまなタスクに対して、同一のシステムが仮説設定から結果検証プロセスまで対応できるのが理想です。
そこで研究者らはLLMのMLモデル構築能力を網羅的に調べました。
■調査の方法
① 新しいベンチマーク「MLAgentBench」を作成
② 15種類のML構築タスクで一般性と信頼性をテスト
③ 成功率、平均改善率、効率性を評価
④ エージェントの推論と研究プロセスも評価
■実験の結果
① 既存のよく知られたデータセット（例：ogbn-arxiv dataset）での成功率はほぼ90%
② 平均改善率は48.18%
③ 新しいKaggle ChallengesやBabyLMでは成功率が〜30%
■主な結論と注意点
① LLMエージェント（特にGPT-4ベース）は多くのMLタスクで優れたモデルを構築できる
② 長期計画やハルシネーションなどの課題は存在
③ 新しい研究課題やKaggle Challengesでの性能はまだ不十分
④ MLAgentBenchは、有用なベンチマークとなる
□追加の考察
本研究では含まれていませんが、最近になって高度な画像分析機能が実装されたLLMが公開されはじめています。
LLMによるMLモデル構築や、ひいてはさまざまな研究開発能力は、画像分析機能によって大きく向上する可能性もあります。
今後、LLMの機能アップデートに応じてLLMに期待できるエンジアリングタスクを検討する必要がありそうです。
