AIDB Daily Papers
野生環境における動きの予測:視覚的知能のための新たなアプローチ
※ 日本語タイトル・ポイントはAIによる自動生成です。正確な内容は原論文をご確認ください。
ポイント
- 本研究では、動きと外観を分離し、多様な非剛体エージェントに適用可能な密な点軌跡を提案した。
- この抽象化に基づき、遮蔽を明示的に考慮し、複雑な動きパターンを予測する拡散Transformerを設計した点が新しい。
- 大規模な動物動画データセットで評価した結果、最先端の手法を凌駕し、希少種にも汎化できることを示した。
Abstract
Visual intelligence requires anticipating the future behavior of agents, yet vision systems lack a general representation for motion and behavior. We propose dense point trajectories as visual tokens for behavior, a structured mid-level representation that disentangles motion from appearance and generalizes across diverse non-rigid agents, such as animals in-the-wild. Building on this abstraction, we design a diffusion transformer that models unordered sets of trajectories and explicitly reasons about occlusion, enabling coherent forecasts of complex motion patterns. To evaluate at scale, we curate 300 hours of unconstrained animal video with robust shot detection and camera-motion compensation. Experiments show that forecasting trajectory tokens achieves category-agnostic, data-efficient prediction, outperforms state-of-the-art baselines, and generalizes to rare species and morphologies, providing a foundation for predictive visual intelligence in the wild.
Paper AI Chat
この論文のPDF全文を対象にAIに質問できます。
質問の例: