Nature Portfolio Journal Robotics (npj robotics) 论文
文章标题：Learning aggressive animal locomotion skills for quadrupedal robots solely from monocular videos
文章链接：https://www.nature.com/articles/s44182-025-00048-x
代码链接: git@github.com:arclab-hku/Imitation_from_video.git
强化学习中手工设计的奖励机制限制了对敏捷四足机器人的追求。虽然动物动作捕捉可以提供三维参考，但其成本限制了其规模化发展。视频学习提供了一种高效的替代方案，但却存在二维限制以及爆发性运动中关节追踪失败的问题。我们提出了一个基于视频的新型框架来解决这个问题。
(1) 首先，稳健的二维姿态估计构建了骨架图模型，从而实现了基于卡尔曼滤波器的关节位置融合。
(2) 时空图卷积网络通过图卷积聚合空间姿态特征，并通过扩张卷积聚合时间动态特征，从而恢复三维关节轨迹。
(3) 这些轨迹被映射到机器人的关节空间，以构建生成式模仿学习。
实际部署的机器人成功学习了复杂的运动：疾驰（高速3m/s）、三足（容错控制）、双足（具有挑战性的四足）和后空翻。该框架显著提升了机器人的运动能力。
