英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天
TL;DR · AI 摘要
英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天 – 量子位 扫码关注量子位 <div class="top search" <form role="search" method="get" class="sear...
核心要点
- 主题聚焦:英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天
- 来源:量子位,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天 – 量子位
扫码关注量子位
<div class="top_search"> <form role="search" method="get" class="search-form" action="https://www.qbitai.com/" id="search"> <label> <input type="search" class="search-field" placeholder="搜索…" value="" name="s"> </label> <button type="submit" class="search-submit"></button> </form> </div>
< img id="wx_img" src="https://www.qbitai.com/wp-content/uploads/imgs/qbitai-logo-1.png" width="400" height="400">
articlead begin
articlead end
英伟达机器人开源撞上Fable 5.2发布!Jim Fan:不是寒冬是夏天
henry
2026-11-10
18:35:38
来源:
量子位
摘要样式
henry 发自 凹非寺 量子位 | 公众号 QbitAI
全体起立!时隔一年半,英伟达的新一代机器人基础模型终于来了!
刚刚,在今年奥斯汀举行的CoRL大会上,英伟达GEAR领导朱玉可和Jim Fan,搬出了新一代世界动作模型——
GR00T 2 。
在时长1分半的官方demo中,GR00T 2可以拿剪刀裁标签、安装显卡、擦火柴、切香蕉做早餐、擦咖啡、收桌子、卖爆米花。
看下来,几乎是样样全能。从双手精细操作到全身移动,模型的任务范围几乎覆盖了机器人能力的各个方向。 而且,据朱玉可透露,GR00T2的模型、数据、仿真环境和数据采集硬件也将陆续开源。 目前,10万小时的人类数据已经率先开放。 咱一人来一句英伟达nb,不过分吧? GR00T 2:扩展机器人基础模型的泛化、灵巧性与适应能力 作为一款世界动作模型,GR00T2能够同时预测未来画面与机器人动作。训练时,它把“世界将如何变化”和“机器人应当如何行动”放在一起学习。 发布会上,Jim Fan将其定位为一个反应够快、能够本地运行,同时既容易通过示范教会,也容易被推理模型引导的System 1(快系统)物理技能模型。 而放回GR00T 2内部,这就是朱玉可在推特上说的Xadapt跨本体适配。 简单来说,过去要教会一台机器人完成新任务,往往需要针对它的身体形态和控制方式,重新采集一批机器人示范数据。 X-Adapt则试图打破这层限制, 人类或手持设备示范过的技能,可以直接迁移给没有练过这项任务的机器人。 具体来看,英伟达展示了三条路径。 1、 从人类示范迁移到机器人。 研究人员佩戴动捕设备,示范如何放置、润湿滤纸。随后,双五指手Dexter就能完成同一任务。 整个过程中,没有采集该任务的机器人遥操作示范。仅凭人类示范,Dexter在20次试验中的成功率就达到65%。 2、从手持夹爪迁移到机械臂。 研究人员使用手持UMI夹爪,示范如何组装玩具自卸卡车。模型学习后,再将这项技能迁移到YAM机械臂上。 尽管UMI与YAM的夹爪形态不同,YAM仍能端到端完成最长约四分钟的组装任务,成功率达到60%。 同样的迁移路径,还被用于传送带分拣与抛掷、操作板拆解等任务。 3、从可穿戴外骨骼迁移到机器人灵巧手。 研究人员戴上DexUMI手部外骨骼,示范制作香蕉酸奶、舀取麦片。 模型利用这些数据微调后,机器人就能接手完成早餐任务,同样不需要额外采集这项任务的机器人遥操作示范。 总结来看,这三条路径指向同一个变化: 同一项技能,不必总是在每一种机器人上重新示范一遍。 当然,跨本体迁移并不意味着完全不需要机器人数据。 在人类动捕和UMI路径中,目标机器人仍会提供与具体任务无关的数据,让模型熟悉自身的身体结构、运动方式和控制空间。新任务的示范,则可以来自更容易采集的人类操作。 这也是GR00T2技术报告所强调的方向, 扩展机器人基础模型的泛化、灵巧性与适应能力。 迁移之外,GR00T 2也展示了通过少量机器人示范提高执行精度的能力。 在另一组Dexter-50评测中,模型的零样本平均成功率为40%;每项任务提供一次示范后,成功率提高到71%;提供五次示范后,则达到95%。 更关键的是,这五次示范合计不足三分钟。随后,只需要在单张RTX5090上进行约30分钟的LoRA微调,就能得到适配对应任务的模型。 在实际调用方面,英伟达也紧跟潮流,开放了WAM API。 通过API,推理模型可以负责拆解任务、检查执行进度,再将具体的物理技能交给GR00T2执行。 换句话说,GR00T2不仅可以自己完成技能,还能成为上层智能体调用的物理执行模块。 那么,问题来了:英伟达,你咋这么nb? 40 万小时人类视频,怎么变成机器人的动手能力? 咱一个一个来说。X-Adapt背后,首先是一座数据金字塔。GR00T2的预训练混合了三类数据: 402,730小时人类第一视角视频; 10,184小时手持UMI演示,覆盖2,897项任务; 23,500小时机器人遥操作数据。 不难看出,人类视频的规模远大于另外两类。这意味着,机器人的学习材料不再局限于人工遥操作采集的动作轨迹,而是进一步扩展到大量真实的人类活动: 人怎样拿起工具、移动物体、完成装配,以及一次动作之后,周围场景会发生怎样的变化。 UMI和可穿戴设备负责补充更直接的操作轨迹,机器人遥操作数据则帮助模型学习不同身体对应的运动与控制方式。 为了验证人类视频究竟能不能帮助机器人干活?团队还专门做了一组规模实验。 他们分别使用不含人类视频、1%、10%和全部人类视频的数据训练模型,再在72项Dexter任务上评估。 结果显示,随着人类视频数据增加,真实机器人上的平均任务进度从50%提高到70%。 这组实验给出了一个相当直接的答案: 大规模人类经验,不只是丰富模型的视觉知识,也能转化成机器人在真实任务中的执行进展。 为了吃下这些数据,在模型方面,GR00T2则接收语言指令、多视角相机画面和机器人状态,通过同一个扩散Transformer,联合预测未来视频与动作序列。 最后,围绕GR00T2,英伟达还在把数据采集、处理、训练、仿真验证和实际部署接成一套完整工具链。 采集端, 是UMI、DexUMI等设备。它们让研究人员直接记录人类操作,尤其是那些传统遥操作很难自然完成的灵巧动作。 数据端, 包括Human-1M与Flora。前者提供人类第一视角视频,首批10万小时子集已经公开;后者支持数据整理、描述性标注和自动评估。 仿真端, 则有SimFoundry。它可以从真实场景重建任务环境,用于策略测试、数据生成和技能开发。 执行端, 则由不同模型和组件分工完成。 ASPIRE将机器人模型与代码技能组织起来,支持任务执行和错误恢复。面向人形机器人,Turbo使用更轻量的网络和更紧凑的视频表示,降低预测开销。 在G1的机载Jetson Thor上,Turbo单次预测耗时为124毫秒;SONIC则运行在另一块Jetson Orin上,以50Hz进行全身控制。 前者生成运动计划,后者把计划转化为持续的身体动作,让机器人在伸手、弯腰和搬运时维持协调。 这样一来,开发者拿到GR00T2后,不仅能调用模型本身,还能沿着配套工具链采集自己的数据、适配自己的任务、在仿真中验证技能,最后将其部署到真实机器人上。 这也是英伟达此次发布更值得关注的地方: 它开放的已经不只是一款机器人模型,而是从数据采集、模型训练到技能调用和实际执行的一整套开发体系。 One more thing 在CoRL的现场演讲里,Jim Fan说: “Astra没有打碎我们的梦想,它打破的是我们的围墙。” “这不是寒冬,这是机器人的夏天。” 虽然话是这么说不错,但今天发布的Claude Fable 5.2,在RoboDojo上的表现也着实有点,来给机器人学上课的意思。 在Anthropic公布的RoboDojo Sim仿真双臂测试中,采用相同运行框架、各模型最高可用推理强度,Fable 5.2得分 64.9%,GPT-6 Astra为29.8%。 要不,下次「后会友期」,大模型队和具身模型队也来报个名? 参考链接 [1]https://research.nvidia.com/labs/gear/gr00t-2/ [2]https://research.nvidia.com/labs/gear/gr00t-2/assets/gr00t2_whitepaper.pdf 版权所有,未经授权不得以任何形式转载及使用,违者必究。
世界模型
具身智能
英伟达
作者文章列表
- 2026-11-05
- 三年前布局,今年爆火丨西湖大学成立新中心 2026-11-01
- 刚刚,扩散模型杀进Agent主场!350亿参数,速度比Jev快一倍 2026-10-29
- 刚刚,Gemini 4终于来了:谷歌重回御三家,API限时半价 2026-10-16
左侧分享
扫码分享至朋友圈
相关阅读 start
相关阅读
#### 全球首个机器人训练楼盘开盘:30万套中国住宅,机器人拎包入住
具身智能的房地产开发商来了!
2026-06-05
大晓机器人
#### 业界首次!一个端到端原生机器人大模型搞定100+灵巧手复杂操作
明敏
2024-12-26
#### 公司注册10天,估值逾10亿美元!理想智驾大牛刷出具身创投新热度
理想前智驾一号位和阿里前副总裁携手创业
衡宇
2026-03-31
创业
智驾
理想汽车
#### 人形机器人主持发布会发布自己!追觅科技孵化,下月将参加全球首届人形机器人马拉松
2025-03-27
人形机器人
追觅
魔法原子
#### 优理奇机器人完成两轮合计3亿元天使++++轮及天使+++++轮融资,“算法-硬件-场景”加速落地
耶鲁00后创业,半年内交割的第5轮融资
邓思邈
2025-12-05
00后
耶鲁大学
#### 探索智能新边界!灵光在手机端上线“体验世界模型”功能
一张照片,一部手机,你就能在AI造的世界里漫步。
2026-04-27
蚂蚁
相关阅读 end
热门文章 start
热门文章
#### 百度无人车搞出“黑客帝国”!世界模型实时推演全局,跑一天抵三年
2026-11-05
#### 99.4%登顶全球第一!这个中国AI师承世界冠军
2026-11-06
#### 抢跑DeepSeek!硅谷华人把下一代Agent Harness造出来了!?
2026-11-07
#### 资本正在撤离“世界模型”
2026-11-08
#### Linux内核被挖出948个漏洞!OpenAI花120万美元找到的
<form role="search" method="get" class="search-form" action="https://www.qbitai.com/"> <label> <span class="screen-reader-text">搜索:</span> <input type="search" class="search-field" placeholder="搜索…" value="" name="s" /> </label> <button type="submit" class="search-submit"><span class="screen-reader-text">搜索</span></button> </form>
热门文章 end
底部版权
- 关于量子位
- 加入我们
- 寻求报道
- 商务合作
<a href="/?page_id=183"target="_blank"><i class="weixin_icon"></i></a>
追踪人工智能新趋势,报道科技行业新突破
<p>量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1</p>
量子位 QbitAI 版权所有©北京极客伙伴科技有限公司 京ICP备17005886号-1