AIが世界を理解できるように世の中のばらばらのデータセットを統合するフレームワーク『ユニバーサル・シミュレーター（UniSim）』が開発されました。
UCバークレー、Google DeepMind、MITの研究者らによる発表です。
@ Mengjiao Yang et al., “Learning Interactive Real-World Simulators”
実世界のシミュレータを作成する際、異なるデータセットが異なる情報軸を持っているといった問題に直面します。
機械が現実でうまく機能するには仮想環境の構築が不可欠です。
そこで研究者らはデータセットを効果的にまとめるフレームワーク『UniSim』を発明しました。
■フレームワークの仕組み
① ビデオ生成フレームワークとして設計
② 異なるデータセットからの情報を効果的に統合することが目的
③ 長期的なインタラクションを一貫してシミュレート
④ 過去のフレームに基づいて条件付けを行う
■検証内容
① Ego4Dデータセットを使用
② 過去のフレームに基づいて条件付けの効果を調査
④ シミュレーション内で高レベルのビジョン言語プランナーを訓練
⑤ さらに低レベルの制御ポリシーを訓練
⑥ リアルワールドにゼロショットで一般化できるかを試験
■検証の結果
① 過去のフレームと条件の数が多いほど性能が向上する
② データサイズが極端に異なる場合、ドメイン識別子をアクションに添付することで品質が向上
③ 現実世界との整合性がとれた
■注意点
UniSimは視覚的な状態に焦点を当てているため、視覚的でない状態（例：温度依存の摩擦など）は考慮されていない
