Hugging Face Blog

Build a Robot Pick-and-Place Simulation with SimReady Assets

8.5内容质量

TL;DR · AI 摘要

本文展示如何使用SimReady资产在Isaac Sim中构建机器人抓取和放置模拟,提供从资产验证到任务代码实现的完整流程。

核心要点

  • SimReady资产需满足Profile-Feature-Requirement三级验证规范
  • 机械臂关节驱动设置直接影响模拟中物体抓取稳定性
  • SimReady Central库提供预验证的机器人和物体模拟资产

结构提纲

按章节快速跳转。

  1. 介绍使用SimReady资产构建机器人抓取任务的完整工作流

  2. 定义Profile-Feature-Requirement三级验证体系确保模拟可靠性

  3. 包含关节设置检查、运动测试和接触行为验证三步骤

  4. 详细说明场景组装、任务代码编写和控制逻辑实现过程

思维导图

用一张图看清主题之间的关系。

查看大纲文本(无障碍 / 无 JS 友好)
  • 机器人模拟构建流程
    • SimReady资产规范
      • Profile定义
      • Feature实现
      • Requirement验证
    • 模拟构建步骤
      • 场景组装
      • 控制逻辑
      • 验证测试

金句 / Highlights

值得收藏与分享的关键句。

#机器人模拟#SimReady#Isaac Sim#NVIDIA
打开原文

使用 SimReady 资产构建机器人抓取和放置模拟

返回文章列表

[0

[-1

企业版

+

]

文章

发布于 2026 年 11 月 13 日

点赞

5

[

Dillon Bailey

dillonb-nv

关注

nvidia

Pomi Lee

pomilee

Rishabh Chadha

rchadha-nv

本教程演示了一个使用 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐在 Isaac Sim 中构建场景、检查其行为并运行由智能体控制的抓取和放置示例的流程。

对于机器人工作流,SimReady 表示 OpenUSD 资产已针对特定模拟使用案例进行了准备,例如碰撞检测、质量、关节和关节驱动器等属性。SimReady Central 是 Hugging Face 上的一个开放资产库,允许您复用带有已编写模拟属性和配置验证证据的机器人和物体资产。有关该库及其发布的更多信息,请阅读发布博客。

什么使机器人资产成为 SimReady?

SimReady 基础定义了 OpenUSD 资产在模拟使用案例中需要的功能。其规范连接了三个层级:

  • 配置文件:用于特定使用案例的功能组,例如机器人主体。
  • 功能:使用案例所需的能力,例如可控制的关节。
  • 要求:对每个功能所需设置的检查,例如关节的驱动器设置。

对于此任务,这些属性包括机械臂和夹爪的关节,以及饮料罐资产的碰撞检测和质量。验证检查这些设置是否符合配置文件的要求。然后模拟测试组装后的机器人是否能利用这些属性抓取并移动罐子。

资产包含哪些内容,您需要添加什么?

UR17G、Robotiq 2F-140 和饮料罐的软件包包含模型及其模拟设置。您需要组装场景并添加任务代码来定义机械臂-夹爪组件、工作台面、起始位置以及控制机械臂移动和夹爪开合的代码。

图 2. SimReady Central 提供资产模型和模拟设置,示例场景和控制代码定义了抓取和放置任务。

在运行抓取和放置任务前应检查什么?

在 Isaac Sim 中,机器人可能在静止时看起来视觉正确,但在模拟运行时可能移动或与物体交互错误。在运行抓取和放置任务前,应测试其关节、运动和接触行为。您可以要求智能体执行这些测试,或在 Isaac Sim 中手动执行。

  • 关节设置:检查机械臂和夹爪的关节限制和驱动器设置。
  • 运动:测试机械臂的小幅度移动以及夹爪的开合。
  • 接触:确认饮料罐能够稳定地放置在工作台面上而不会穿透。

在抓取和放置过程中,观察饮料罐在机械臂移动时是否保持在夹爪中。资产结构各不相同,因此请以加载场景中的设置作为起点。下面的步骤将逐步介绍下载资产和构建场景的整体流程。

在 Isaac Sim 中构建抓取和放置模拟

此示例在 Isaac Sim 中结合了 UR17G 机械臂、Robotiq 2F-140 夹爪和饮料罐。任务是抓取罐子、将其举起、移动到目标位置并释放。您还可以利用 SimReady Central Space 搜索服务端点查找原始设备制造商(OEM)精选内容。

我们将使用一个前沿AI模型来帮助在开放的Isaac Sim场景中创建和运行任务代码。在此示例中,我们使用GPT-6 Sol模型,但只要代理和模型组合能够加载所需技能并在Isaac Sim中执行Python代码(生成的代码和结果可能因情况而异),其他组合也可以使用。提示信息提供了起点。在调整任务之前,请检查生成的代码并确认结果行为。

所需软件:

  • 安装Isaac Sim 6.2(本示例使用的版本),并检查其系统要求。
  • 设置一个您选择的代理,该代理需要能够使用Isaac Sim技能。按照《代理技能文档》操作,使捆绑的技能对您的代理可用。
  • 仅当您选择使用命令行资产下载选项时,才安装Hugging Face CLI。
  • 使用USD搜索端点。

第1步:下载机械臂、夹具和饮料罐资产

打开SimReady Central,找到此处使用的UR17G机械臂、Robotiq 2F-140夹具和饮料罐。在每个资产上选择“下载”,然后使用“保存到文件夹”或提供的Hugging Face命令。保持这三个完整资产文件夹的完整性,以便Isaac Sim能够找到它们的配套文件。

使用本示例中链接的资产版本,并为机械臂、夹具和饮料罐提供本地USD文件路径给您的代理。下面显示了一个示例夹具路径;您的下载位置可能不同。

code
~/ASSETS/hf/src/simready-assets-c7fa7615/Robotiq_2F_140/simready_usd/Robotiq_2F_140.usda

图3. SimReady Central的搜索和交互式预览有助于识别本示例中使用的Robotiq 2F-140夹具和饮料罐。

图4. 饮料罐的下载选项包括将资产包保存到文件夹或使用Hugging Face CLI。

资产验证能告诉您什么?

机械臂验证报告使用Robot-Body 4.0.0配置文件,夹具验证报告使用Robot-Gripper 3.0.0配置文件。两者均记录通过的PhysX驱动关节检查,这些检查会验证关节驱动设置。

SimReady配置文件验证为这些资产的重复使用提供了共享基准。随后的抓取和放置运行将测试机械臂、夹具、饮料罐和控制器在组装场景中的协同工作情况。

第2步:组装机器人并为抓取和放置操作构建场景

在下载资产后,使用具有Isaac Sim技能的代理来帮助组装机器人、运行验证工具并创建抓取和放置控制。您也可以通过链接的文档手动执行这些步骤。

启用远程Python服务器,从Isaac Sim的安装目录启动Isaac Sim,以便代理可以通过Python与模拟进行交互:

code
./isaac-sim.sh --
enable
isaacsim.code_editor.python_server

如果您使用代理,请确保从Isaac Sim目录启动它,以便在执行以下步骤时能够访问所需的技能。

确认三个资产均无缺失文件错误。请代理检查机械臂和夹具的关节限制和驱动设置,或在Isaac Sim中自行查看。机器人和夹具包含可通过Isaac Sim GUI测试和验证的物理关节。接下来我们将组装机械臂和夹具,以便将其作为单一部件进行控制。

您可以遵循《机器人组装器教程》进行手动组装。在此,我们将要求代理完成组装并进行验证:

本示例中使用的示例提示:

code
使用 Isaac Sim 中的机器人组装教程,将机器人手臂 <local path to Simready ur17g robot usd> 与夹爪 <local path to downloded simready Robotiq_2F_140 gripper usd> 组装在一起
https://docs.isaacsim.omniverse.nvidia.com/6.2.0/robot_setup/assemble_robots.html.

完成组装后验证装配情况。

代理最终使用了与 Isaac Sim 一起打包的 ‘isaac-sim-remote’ 和 ‘usd-articulation’ 技能来完成组装并验证机器人的物理特性。现在我们已经拥有运行抓取与放置任务所需的所有资产:组装好的机器人和苏打水罐。接下来将进行工作流程的最后部分。

图5. Isaac Sim 中 UR17G 机械臂和 Robotiq 2F-140 夹爪的关节设置。

在场景中放置好组装好的机器人和苏打水罐后,让代理执行任务。使用下一步中的检查项评估模拟行为。

步骤3:测试控制并执行抓取与放置

现在资产已包含模拟属性和配置文件验证,可以开始在组装场景和控制器中进行测试。控制器协调 UR17G 机械臂的运动与 Robotiq 2F-140 夹爪的开合。使用以下行为检查项评估代理生成的任务。如需自行理解或调整控制器,请参阅 添加机械臂机器人 教程。

code
在 Isaac Sim 中使用组装好的机器人和苏打水罐 <path to soda can USD from SimReady library> 执行抓取与放置操作。

确保在抓取苏打水罐时使用基于接触的抓取方式,并验证抓取与放置的精度/定位误差。

使用技能 : ‘isaac-sim-remote’, ‘manipulaiton-ik’ 和 ‘physics-simulation’

完整任务测试夹爪在移动过程中是否能保持对苏打水罐的抓取并在目标位置释放。重置场景后,依次运行接近、抓取、提升、保持、转移和释放操作。将你的操作与初始视频及以下成功标准进行对比。

图6. Isaac Sim 中 UR17G 机械臂和 Robotiq 2F-140 夹爪以4倍速将饮料罐从黄色拾取标记移动到绿色目标位置。

如果操作结果存在差异,请记录序列失败的位置,并让代理检查场景并生成控制指令。重试前将罐子和机器人重置为相同的初始状态,以便对比结果。

模拟假设:

  • 固定设置:罐子初始位置已知,机器人固定,工作空间平坦且无障碍。未使用视觉系统,碰撞检测功能有限。
  • 简化罐体:未建模变形和液体运动,因此此示例不测试挤压情况。
  • 脚本化抓取和运动:水平抓取使用通过模拟测试选择的2 N·m驱动扭矩上限,未校准指尖力或遵循制造商建议。夹爪通过接触和摩擦力保持饮料罐,机械臂沿固定路径点移动时无需重新规划路径。有关硬件夹持力规格,请参阅 Robotiq 产品手册。

这些结果仅适用于此脚本化设置。它们不能证明对不确定物体位置、不同负载或真实硬件的鲁棒性。

使用 SimReady 资产构建下一个模拟

使用 SimReady Central 中的资产构建自己的抓取与放置任务,然后选择一个代理来帮助组装场景并在 Isaac Sim 中运行。

发现资产

  • 查找机器人和物体:在 Hugging Face 上浏览 SimReady Central。
  • 检查资产支持的功能:结合SimReady Foundation中的配置文件和要求,以及资产的验证报告进行查看。

构建拾取和放置场景

  • 设置模拟器:按照Isaac Sim安装指南中对应版本的说明进行操作。
  • 连接代理:遵循Isaac Sim代理技能文档,使捆绑的技能对您的代理可用。
  • 组装机器人:如果希望手动连接机械臂和夹爪,请参考机器人组装器教程。

准备和贡献内容

  • 从CAD开始:按照《创建SimReady机器人资产的5个步骤》准备您自己的机器人资产。
  • 验证并提交资产:遵循SimReady Central提交指南,使您的资产对其他开发者可用。

获取灵感,可以查看Michael Wagner的语音控制VR演示或Maziyar Panahi的Microduck模拟。这两个案例展示了开发者如何在自己的项目中使用SimReady资产。

您将构建什么?在Hugging Face评论区分享您的场景和成果,包括使用的资产和Isaac Sim版本。

愉快地构建吧!

本文中提到的数据集 3

本文中提到的空间 1

作者的其他文章

*跨八个领域使用10万份合成商业文档评估隐私保护和实用AI应用*

2026年11月9日

Nemotron-Personas-Finance-Japan:一个捕捉日本人口统计和金融背景的合成数据集

19

社区

编辑

预览

通过在文本输入框中拖拽、粘贴或点击此处上传图片、音频和视频

.

轻点或粘贴此处上传图片

评论

· 注册或登录以评论