本記事では、DeepMindの「Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning」という研究を紹介します。この研究では、仮想世界でサッカーを学んだ二足歩行ロボットが、実世界でどのようにサッカーをプレイするのかが明らかにされています。

目次

• 仮想世界でサッカーを学ぶロボット

  • シミュレーションでスキル習得
  • 力強い動作と戦術理解

• 実世界でのパフォーマンス

  • ロボットの腕前を実証
  • ロボットも痛みに強く

• 視覚からの学習

  • 視覚情報を利用した新たな学習方法
  • 視覚を使いこなすロボットの台頭

• まとめ
• 関連研究

参照論文情報

• タイトル：Learning Agile Soccer Skills for a Bipedal Robot with Deep Reinforcement Learning
• 著者：Tuomas Haarnoja, Ben Moran, Guy Lever, Sandy H. Huang, Dhruva Tirumala, Markus Wulfmeier, Jan Humplik, Saran Tunyasuvunakool, Noah Y. Siegel, Roland Hafner, Michael Bloesch, Kristian Hartikainen, Arunkumar Byravan, Leonard Hasenclever, Yuval Tassa, Fereshteh Sadeghi, Nathan Batchelor, Federico Casarini, Stefano Saliceti, Charles Game, Neil Sreendra, Kushal Patel, Marlon Gwira, Andrea Huber, Nicole Hurley, Francesco Nori, Raia Hadsell, Nicolas Heess
• URL：https://doi.org/10.48550/arXiv.2304.13653

仮想世界でサッカーを学ぶロボット

シミュレーションでスキル習得

研究チームは、二足歩行ロボットが1対1のサッカーゲームで複雑な行動戦略を身につけることを目指しました。
まず、MuJoCo物理エンジン※を用いたシミュレーション上で、個別のスキルを訓練しました。次に、これらのスキルを自己対戦環境で組み合わせることで、より高度な戦術が生まれました。シミュレーションで得られた学習成果は、実際のロボットにもゼロショットで適用することができました。

※MuJoCo物理エンジンとは：OpenAIが公開している無料の物理演算エンジンのこと。

https://youtu.be/kkZpQ6e1VHA

力強い動作と戦術理解

この研究の成果として、ロボットは迅速な回復や歩行、旋回、キックなどのダイナミックなスキルを習得しました。また、ボールの動きを予測し、相手のシュートをブロックする戦術理解も身につけました。

実世界でのパフォーマンス

ロボットの腕前を実証

研究チームは、シミュレーションで培ったロボットのスキルが現実世界でも活かされるかを検証するため、実環境とシミュレーションにおけるパフォーマンスを測定しました。その結果、