NVIDIA Cosmos-H-Dreams: Bringing Real-Time Generative Simulation to Surgical Robotics

NVIDIA Cosmos-H-Dreams：将实时生成模拟引入手术机器人

返回文章

[0

[-1

企业

+

]

文章

发布于2026年7月27日

点赞

30

[

• +24

Lukas Zbinden

lzbinden

关注

nvidia

Javier Gamazo

javirk1

Mostafa Toloui

mtoloui

Sean Huver

shuver

手术机器人正在快速从远程操作向功能更强大的视觉-语言-动作策略发展。但评估和训练这些系统仍然具有挑战性。物理机器人平台运行成本高昂，实验复现速度缓慢，故障可能损坏器械或生物材料。传统模拟器虽然提供了更安全的替代方案，但手术场景的建模异常困难：可变形组织、精细器械交互、镜面表面、缝合线、针具、烟雾和遮挡等因素都至关重要。

世界基础模型提供了另一条路径。它们无需手动编写每个物体和物理交互，而是直接从同步视频和机器人运动学中学习视觉动态。NVIDIA的Cosmos-H-Surgical-Simulator通过从初始场景和机器人动作序列生成未来手术视频证明了这一方法。它使Open-H-Embodiment生态系统实现了超越物理限制的评估速度和合成数据生成。

今天，我们推出下一步进展：Cosmos-H-Dreams，一个面向手术机器人的实时、基于动作的生成模拟器。Cosmos-H-Dreams将Cosmos-H-Surgical-Simulator的能力提炼为因果推理的轻量级学生模型，并通过NVIDIA加速流式推理库FlashDreams提供服务。在单块NVIDIA RTX PRO 6000 GPU上运行，其结果是一个可交互环境，可由人类或训练好的策略在闭环系统中进行控制。

1. 从手术世界模型到交互式模拟器

Cosmos-H-Surgical-Simulator是基于NVIDIA Cosmos-Predict2.5-2B构建的动作条件世界基础模型，并在Open-H-Embodiment数据集上进行了后训练。给定手术场景的初始帧和未来机器人轨迹，它会生成展示这些动作可能视觉后果的视频。这使其适用于离线策略评估和合成数据生成。记录的或策略生成的轨迹可以发送给模型，生成对应的模拟过程，无需反复在物理机器人上执行动作即可进行检查或评分。

Cosmos-H-Dreams将模型带入实时领域。在Cosmos-H-Surgical-Simulator学习到的多形态手术先验知识基础上，我们针对达芬奇研究套件（dVRK）桌面缝合任务对模型进行专业化，并提炼为因果推理的学生模型，以自回归方式生成场景。发布的模型接收初始RGB帧和机器人的实时运动学流，然后在继续处理下一个动作块前生成下一组帧。

我们还通过与CMR Surgical和Cambridge Consultants合作，将Cosmos-H-Dreams集成到Versius外科医生控制器中，实现了在Versius平台上的实时操作，展示了其多功能性。

2. 为实时应用提炼Cosmos-H-Surgical-Simulator

关键挑战在于在降低生成成本的同时保留有用的手术动态。Cosmos-H-Dreams采用专为长序列自回归模拟设计的教师-学生训练流程。

2.1. 手术教师模型

双向教师模型从Cosmos-H-Surgical-Simulator Open-H检查点开始训练，该检查点采用统一的44维动作表示。对于发布的dVRK桌面模型，双臂dVRK动作内容（包括末端执行器的相对平移、旋转和夹持器状态）被映射到这种通用表示中。

随后在JHU dVRK桌面混合数据集上对教师模型进行微调，该数据集包含成功示范以及失败和分布外场景（如针具掉落、投掷失误和打结失败）。这些失败案例至关重要：用于评估策略的模拟器必须重现劣质动作的后果，而不仅仅是理想示范。

为提高长序列生成的稳定性，训练过程逐步增加教师模型的时间跨度。我们从12帧跨度开始训练，逐步增加到72帧。每次跨度扩展时，都会用预训练权重初始化经过预热的模型。

2.2 因果预热

首先预计算并缓存教师模型的去噪轨迹。因果学生模型从教师模型初始化，并训练模仿这些缓存轨迹。这个预热阶段教会学生模型在开始学习自身生成历史之前，掌握因果注意力机制和流式键/值缓存。

2.3 自强制蒸馏

自回归模型面临一个常见问题：训练时可能看到干净的、真实的数据上下文，而部署时必须依赖自身不完美的输出。小误差因此会随时间累积。

Cosmos-H-Dreams通过自强制蒸馏解决这种不匹配问题。训练时学生模型使用自身生成的上下文向前推演，冻结的教师模型提供的分布匹配监督则引导这些自生成推演趋向真实的手术视频。这使学生模型能够适应交互推理时将遇到的相同条件。

最终模型支持少量步骤扩散，每帧潜在变量只需2步去噪，而非完整教师模型使用的多步骤过程。它结合了教师模型的手术先验知识和流式处理所需的因果结构。

3. FlashDreams：实时推理引擎

模型蒸馏只是实时处理的一部分。Cosmos-H-Dreams通过FlashDreams提供服务，这是一个为自回归世界模型和视频模型加速的推理库。

FlashDreams通过多种互补优化将蒸馏后的学生模型转化为低延迟流式系统，包括流式KV缓存、CUDA图捕获或模型编译等技术。

这些技术共同将蒸馏后的手术世界模型从标准Cosmos-H-Surgical-Simulator推理约每秒10帧的水平，提升到单块NVIDIA RTX PRO 6000显卡上交互式运行（约160帧/秒）的性能。

Cosmos-H-Dreams还提供了将生成转化为交互的人机接口。浏览器客户端可通过WebRTC发送键盘指令并接收生成帧。Meta Quest客户端可将追踪控制器运动映射为机器人动作，并通过WebXR显示合成场景。同一模型还可连接学习到的手术策略，在闭环系统中交换生成的观测值和预测动作。

4. 适配您的数据

虽然 Cosmos-H-Dreams 包含用于桌面缝合的预训练检查点，但该系统的设计目标是可扩展至您的具体应用场景。要为自己的数据集训练实时学生模型，我们在逐步指南中提供了完整的教师微调和自强制蒸馏方案。

5. 下一步：迈向闭环手术物理 AI

Cosmos-H-Dreams 为手术模拟开辟了新领域：从真实机器人数据中学习的环境，其响应能力足以支持交互。

下一步的直接目标是超越视觉质量评估。一个实用的手术模拟器必须正确响应操作，在长时间运行中保持器械和场景结构，并支持可迁移至物理机器人的结论。这推动了新的闭环基准测试套件：工具尖端可达性与姿态精度、夹持器循环保真度、空闲稳定性、反事实动作多样性、长时域漂移，以及模拟与真实策略结果的一致性。

实时世界模型还可以成为手术策略开发的主动合作伙伴。它们可以按需生成罕见故障，为强化学习或模仿学习提供可扩展环境，并在不依赖稀缺机器人硬件的情况下快速评估新策略。

更长远来看，实时模拟可支持一系列下游应用，例如低延迟远程手术（世界模型帮助维持更稳定的显示），或交互式手术预演、手术方案规划和术中决策支持。Cosmos-H-Dreams 是一个研究与开发平台，而非诊断系统、术中成像替代方案或物理手术机器人的控制器。但它为安全探索这些可能性提供了基础。

随着模型保真度、时间稳定性与硬件效率的持续提升，实时生成模拟可帮助在统一的物理 AI 环境中连接外科医生教育、合成数据生成、策略训练与策略评估。

6. 立即开始

探索 Cosmos-H-Dreams 的模型、数据和运行时：

• Cosmos-H-Dreams 代码和示例：GitHub 仓库
• Cosmos-H-Dreams 模型：Hugging Face 检查点
• Cosmos-H-Surgical-Simulator：Hugging Face 模型和 GitHub 仓库
• 适配您自己的数据：教师微调和自强制蒸馏的逐步指南
• Open-H-Embodiment：Hugging Face 数据集
• FlashDreams：GitHub 仓库
• NVIDIA Cosmos-Predict2.5：GitHub 仓库
• Cosmos-Surg-dVRK：基于世界基础模型的手术机器人策略学习在线自动评估（arXiv 论文）

Cosmos-H-Dreams 将动作条件手术世界建模引入实时循环，为人们和策略提供全新环境进行实践、探索、数据生成和评估下一步可能发生的情况。

本文提及的模型 3

本文提及的数据集 1

更多来自该作者的文章

物理 AI 模拟现状：概述

66

2026年7月21日

介绍 Cosmos 3 Edge

37

2026年7月20日

社区

UnifiedMentorTeam

1天前

[2

精彩文章！

回复

已删除

此评论已被隐藏

skjlkjs

约19小时前

这是手术机器人领域令人着迷的飞跃。实时生成式模拟技术可大幅降低培训和规划过程中的风险。将大型模型蒸馏为因果学生模型的概念非常巧妙。如果你也在探索从图像生成视频，不妨试试Seedance 2.5图像到视频工具，它在创意应用中表现出色。

eltonwilliams

约14小时前

•

编辑于约14小时前

评估标准不应仅限于视觉质量，这是下一步的优先事项。实用的手术模拟器必须能够产生可迁移至真实机器人的发现结果，在长时间运行过程中保持器械和场景的组织性，并对操作做出恰当反应。工具尖端的可及性与姿态准确性、夹持器循环保真度、空闲稳定性、反事实操作多样性、长期漂移以及模拟与实际策略结果之间的一致性，是受此启发提出的一些新的闭环基准。

手术机器人领域的发展确实令人兴奋！🏥🤖 能够在不损害昂贵设备或精细手术流程的现实模拟中训练和测试先进的视觉-语言-动作系统，可以大幅加快开发进程并提高安全性。对组织、器械、烟雾和照明所需细节程度，充分体现了这一领域的挑战性。👏

看到技术从简单的远程操作向更智能、更强大的机器人辅助系统演进令人印象深刻。🚀 更优质的模拟环境可以帮助研究人员在系统进入手术室之前完善这些系统，这对外科医生和患者都是双赢。😊📱

期待看到NVIDIA Cosmos-H-Dreams等项目如何塑造医疗保健的未来。🌍💙 如果这些模拟继续变得更加真实，它们可能在提升外科培训、降低成本和最终改善患者治疗结果方面发挥巨大作用。出色的工作，令人兴奋地预览了未来的发展方向！🙌✨

kdb6df

约11小时前

包含用于桌面缝合的预训练检查点

精彩的文章。显然在过去12个月中一直在筹备，从与Axel Krieger等人的NeurIPS合作，以及今年早些时候发布的Open-H数据集都可以看出。困难的部分在于如何收集适合自己任务复杂度的合适规模的数据集。更复杂的任务将需要更大的数据集。训练稳定性和模式需要进一步探索。

编辑

预览

通过拖拽、粘贴或点击此处上传图片、音频和视频

点击此处上传图片

评论

· 注册或登录以发表评论

• +18