• 投稿

【Lumina Talk 第25期】Project Instinct | 一个统一的人形机器人直觉智能的训练和部署测试框架

1619
0
2026-02-02 22:55:42
29
14
79
27
本次分享我们邀请到了清华大学交叉信息研究院博士研究生庄子文为大家介绍他的工作:Project Instinct。 在复杂非结构化环境(unstructured environments)中实现稳健的仿人机器人徒步行走,需要从反应式的本体感知(proprioception)转向前瞻性的环境感知(proactive perception)。然而,外感受感知的整合仍面临重大挑战:基于地图构建的方法存在状态估计漂移问题(state estimation drift),例如依赖激光雷达的方案难以有效应对躯干抖动。现有端到端方法常受限于扩展性与训练复杂性;具体而言,前期采用虚拟障碍物的研究大多依赖个案化实现。本文提出"野外徒步(Hiking in the Wild)"框架 —— 一个具备可扩展性的端到端跑酷感知框架,专为稳健的仿人机器人徒步行走设计。为确保安全性与训练稳定性,我们引入两项关键机制:结合可扩展地形边缘检测(Terrain Edge Detection)与足部体积点的立足点安全机制(foothold safety mechanism),防止在边缘处发生灾难性滑移;以及通过生成可行导航目标来抑制奖励欺骗的平面补丁采样策略。该方法采用单阶段强化学习架构(single-stage reinforcement learning),直接将原始深度输入与本体感知映射为关节动作,无需依赖外部状态估计(external state estimation)。在等比例仿人机器人上进行的大规模野外实验表明,我们的策略能够以最高2.5米/秒的速度稳健穿越复杂地形。训练与部署代码已开源,旨在促进可复现研究,并支持以最小硬件改造在实体机器人上完成部署。 1. 主页:https://project-instinct.github.io/ 2. 论文链接:https://arxiv.org/abs/2601.07718 3. 代码链接:https://github.com/project-instinct
Lumina Embodied AI Community
Lumina Talk
(19/38)
6.9万播放
简介
【Lumina Talk第1期】ICRA’25 最佳论文 | D(R, O) Grasp:全新交互式表征重塑跨智能体灵巧手抓取
48:27
【Lumina Talk第2期】Roboverse:面向可拓展可泛化机器人学习的统一平台、数据集和测试基准
01:05:45
【Lumina Talk 第5期】RoboTwin 2.0:强域随机化双臂仿真数据合成与评测基准
01:19:52
【Lumina Talk 第8期】VLA-OS: 揭秘机器人VLA模型的第一性原理
45:52
【Lumina Talk 第9期】AgiBot World: 具身智能专家数据全新认知
49:32
【Lumina Talk 第10期】InstructVLA: 视觉-文本-动作指令微调,从理解到操作
53:55
【Lumina Talk 第11期】MinD:双系统世界模型,赋能实时机器人操作规划
51:20
【Lumina Talk 第12期】Hitter: 分层框架赋能机器人乒乓球技术
53:23
【Lumina Talk 第15期】TrajBooster: 通过轨迹学习增强人形VLA全身操作能力!
31:35
【Lumina Talk 第18期】上交穆尧ScaleLab专场:离散扩散范式VLA、解耦路由的协同式MoE、半自动数据采集与生成框架
53:44
【Lumina Talk第3期】UniVLA: 构建通用可扩展的机器人动作空间
54:30
【Lumina Talk第4期】TesserAct:首个通用4D世界模型
01:09:41
【Lumina Talk 第19期】西湖大学王东林老师MiLab专场:全构型VLA模型基座、强化学习与灵巧操作
02:18:12
【Lumina Talk 第20期】斯坦福大学迮炎杰:构建通用具身智能的数据基石
01:07:29
【Lumina Talk 第21期】清华许华哲老师TEA Lab专场: 迈向可部署的强化学习训练系统
01:25:08
【Lumina Talk 第22期】RynnVLA-002:统一具身VLA模型和世界模型
51:45
【Lumina Talk 第23期】WholeBodyVLA:面向人形机器人移动操作的全身VLA框架
52:47
TM-20260116141659-944402327-recording-1_screen
01:13:18
【Lumina Talk 第25期】Project Instinct | 一个统一的人形机器人直觉智能的训练和部署测试框架
01:06:41
【Lumina Talk 第26期】BayesVLA:贝叶斯因式分解,破解语言泛化难题
01:17:10
【Lumina Talk 第27期】InternVLA-A1:“虚实结合、融会贯通”的具身操作大模型
01:26:12
【Lumina Talk 第27期】RLinf真机系列工作:WoVA, RL-Co, USER
01:39:42
【Lumina Talk 第28期】PointWorld:面向机器人的3D世界模型
01:29:36
【Lumina Talk 第30期】RISE:在“想象”中提升真机能力
01:15:48
【Lumina Talk 第32期】通研院人形机器人专场 | OmniXtreme, OmniTrack, OmniClone and TacThru
SparseVideoNav
50:54
GuideVLA
01:02:16
UniT剪辑
56:30
[Lumina Talk 第38期] SANA-WM:分钟级单卡可部署高效世界模型
35:09
[Lumina Talk 第40期] STEAM:无需人工标注的时序集成优势建模,让真实世界机器人学习更进一步!
45:46
[Lumina Talk 第39期] RoboNaldo:让人形机器人踢出又准又稳又有力的射门
59:16
[Lumina Talk 第41期] EventVLA:基于关键事件记忆的长程操作VLA模型
49:50
[Lumina Talk 第42期] SIM1:让仿真扎根物理世界,规模化推进机器人学习
54:18
[Lumina Talk 第43期] CLIFT:以非侵入式闭环迭代微调实现 Gemini 端侧机器人的人形专精化改造
35:20
[Lumina Talk 第44期] PRM-as-a-Judge 1.5:超越成功率,迈向细粒度具身过程评测
39:15
[Lumina Talk 第45期] 面向通用移动操作:感知如何对齐动作
01:47:14
[Lumina Talk 第46期] HarnessPAI: 让动作能力,成为任务能力
44:14
[Lumina Talk 第47期] OneWM:让世界建模与动作学习双向互惠
01:31:51
客服
顶部
赛事库 课堂 2021拜年纪