自律学習ロボットハンド、未知の操作も高精度で成功

視覚言語モデルを移動型ロボットハンドに搭載し自律学習を実現したとの報告がされています。

現実のオープンワールドで学びながらタスクをこなしていくことを可能にする技術とのこと。

ハードウェアの仕様も公開されています。

“Adaptive Mobile Manipulation for Articulated Objects In the Open World”より

カーネギーメロン大学による発表です。

■本研究の狙い
– ロボットが実世界で勝手に学び適応する
– ドアや引き出しなどで細かい操作ができる
– 人間の介入なしで実用的なレベルに成長する

■技術的フレームワーク
– 視覚言語モデルで環境認識とタスク理解を行う
– 深層強化学習と進化アルゴリズムを組み合わせる
– タスクごとに独自の行動計画を立てる

■実験と結果
– 様々な異なる建物でテスト
– 12ケースで訓練、8ケースでテスト
– 未知の操作でも成功率が95％
（従来は約50%）
– 人間の介入なしで、視覚言語モデルからの報酬を利用して自律学習が可能でなった

今後、本フレームワークを他の環境でも試していきたいとされています。実用化に向けては、安全性やコストパフォーマンスを高めていく必要があるとのことです。