叠衣服机器人又来啦!这次我们的机器人团队打造了一套完整方法,让机器人学会从一团乱的T 恤开始整理并折叠,成功率高达 90%!而且最关键的是:所有细节全部公开,人人都能复现
这不是普通 demo,而是一份“机器人训练说明书”
✨ 硬件怎么选?
没有用昂贵人形机器人,而是开源双臂 OpenArm + 自研低成本遥操作设备(约 120 欧元)。
结果发现:便宜方案更灵活、更好用!
✨ 感知有多复杂?
答案是:很简单!只用 3 个 RGB 摄像头 + 关节数据,没有力传感器、深度相机,也能完成精细操作。
✨ 最大难点:数据!
整个项目最耗时的不是训练,而是数据采集:
- 8 套设备同时跑
- 131 小时人类示范
- 5688 条轨迹
关键点 👉 数据质量远比数量重要!
用 1200 条高质量数据微调后,成功率直接从 40% 飙升到 90% !
✨ 模型怎么做?
使用 Vision-Language-Action(视觉 + 语言 + 动作)模型:
输入图像 + 状态 + 指令(比如“fold the t-shirt”),直接输出机器人动作,实现端到端学习。
✨ 三个关键技术亮点:
1️⃣ SARM:自动判断“任务进度”,帮你筛选好数据
2️⃣ RABC:让模型更关注“有效动作”,忽略低质量操作
3️⃣ RTC:边执行边预测,动作更流畅不卡顿
✨ 人类辅助学习(DAgger)
机器人失败时,人类接管纠正,把“错误场景”变成新训练数据,让模型越学越强。
✨ 最终效果:
- 平铺衣服折叠:100% 成功
- 乱衣整理 + 折叠:80%
- 总体成功率:90%
✨ 最重要的结论:
- 瓶颈不是模型,而是数据
- 高质量 + 一致性数据 = 决定性优势
- 开源工具已经足够支撑真实机器人系统
🤗 Hugging Face Hub 的 LeRobot 页面可查看完整项目