From Simulation to Reality: Why Your Robot Works Perfectly in the Lab But Fails in Real Life

TL;DR · AI 摘要
From Simulation-to-Reality for Robotics Published on May 31, 2026 13 min read From Simulation to Reality: Why Your Robot...
核心要点
- 主题聚焦:From Simulation to Reality: Why Your Robot Works
- 来源:CoreWeave,建议结合原文判断细节。
- AI 分析暂不可用,本条为保底评分与摘要。
从仿真到现实:为什么你的机器人在实验室完美运行但在现实生活中失败
发布于
2026年5月31日
13
分钟阅读
从仿真到现实:为什么你的机器人在实验室完美运行但在现实生活中失败
作者
Abdullahi Dattijo
已复制
最初发布于CoreWeave博客的Weights & Biases,发布日期为2026年5月31日。
你训练了一个自动驾驶模型。它完美地实现了车道变换、平稳加速且零事故。你准备将其部署到现实世界。几秒钟后,它就撞车了。
发生了什么?仿真环境为你提供了完美的路面、无风干扰、瞬时刹车响应和零传感器延迟。但现实世界却向你的AI投来了坑洼路面、突如其来的强风、刹车衰退和嘈杂的GPS信号。你的模型学习的是一个根本不存在的世界。
这就是机器人领域的"在我的机器上能运行"现象。
在机器学习机器人领域,我们有充分理由在物理仿真器中训练机器人。真实机器人成本高昂(研究用机器人价格在1万美元到10万美元之间),你可以在一夜之间运行数百万次训练尝试,当机器人摔倒时也不会造成损坏。但这里有个陷阱:仿真器会说谎。它们构建的是一个理想化的世界,具有完美的物理规律、零噪声和瞬时响应。当你将这个"完美"的AI部署到真实硬件时,现实世界的混乱会破坏一切。
在本教程中你将学到什么?
通过本教程,你将掌握四项关键技能。
- 首先,学习如何使用强化学习(特别是PPO算法)训练机器人行走。
- 其次,学习如何检测标准指标完全遗漏的隐藏问题,例如会破坏电机的振动。
- 第三,学习如何使你的AI足够健壮,以应对各种现实环境条件,包括不同地面材质、温度变化和磨损老化。
- 第四,学习如何使用Weights & Biases追踪所有数据,从而真正理解发生了什么。
最终,你将获得的不只是能在仿真中行走的机器人。你将拥有一个可能真正经受住现实世界首次考验的机器人。
无需任何机器人学经验。我们将逐步解释所有内容。
为什么不能直接编程控制机器人,而非使用机器学习?
你可能会疑惑:"为什么使用机器学习?我们不能直接编程控制机器人吗?"
传统控制方法存在什么问题?
几十年来,工程师们一直使用称为PID控制器(比例-积分-微分控制器...听起来高大上,其实概念很简单)的技术。把它想象成汽车的巡航控制系统。你设定一个目标速度,控制器会持续调整油门以维持该速度,上坡时加大油门,下坡时减小油门。
当环境可预测(如平坦的高速公路)、可以编写明确规则(如速度下降时加大油门)且物理规律简单线性时,这种方法效果很好。但如果是机器人在碎石路上行走呢?
突然间,你需要为每个脚部动作如何改变摩擦力、地面如何在重量下变形、当一只脚打滑时四条腿如何协调、以及当表面意外倾斜时如何保持平衡制定规则。你需要数千条规则,仍然会遗漏边缘情况。
我们不再为机器人编写规则,而是向它展示成功的样子(例如向前行走而不摔倒),让它通过试错法……在模拟中进行数百万次尝试来理解“如何实现”。这就像学习骑自行车一样。没有人会给你平衡的公式,你只是不断尝试、摔倒、调整、再次尝试。最终,你学会了如何骑车,却并未有意识地理解其中的物理原理。我们对机器人所做的,正是这个过程。
人们常说的“模拟到现实的差距”到底指的是什么?
现在,事情开始变得真实了(双关语,pun intended)。
为什么模拟器无法匹配现实?
在模拟器中,当机器人摔倒时,你可以无损地按下“重置”键。你的传感器完美无缺,测量数据没有噪声。电机响应即时,没有机械延迟。由于地面不会改变,摩擦力始终保持一致。由于电机不会过热,温度影响不存在。而且物理规律是确定性的……同样的动作总会产生相同的结果。
现实情况呢?摔倒可能需要花费5000美元进行维修。传感器存在噪声,会有GPS漂移和摄像头模糊。电机存在10到50毫秒的延迟。摩擦力在木地板、地毯和湿滑地面上差异巨大。随着时间推移,电机温度会上升并逐渐减弱。而且物理规律是混乱的……同样的动作肯定不会产生相同的结果。
如果我部署了模拟训练的机器人,最糟糕的结果会是什么?
当你部署一个经过模拟训练的机器人时,实际发生的情况可能如下:你的训练曲线显示第1次尝试奖励值为-100(非常糟糕),第100次尝试奖励值为0(正在学习),第300次尝试奖励值达到100(成功!)。你可能会想:“太棒了!机器人学会了走路!”
但当你部署到真实硬件上时,电机开始快速振动。30秒内,它们就变得非常烫。机器人甚至没有向前移动一步。你刚刚将电机的使用寿命缩短了100小时。
到底哪里出问题了?你的AI发现了一种“欺骗”模拟器的方法:通过高频振动腿部来产生前进运动。模拟器简化的物理规则允许这种行为,从而提升了奖励值。曲线显示“成功”。但现实中的电机无法以100Hz的频率振动。它们只会消耗最大电流,过热并无法产生有效的运动。
💡教训:奖励值上升并不等于得到了可用的解决方案。
我应该让模拟器变得更真实吗?
你可能会想:“让我们让模拟器更真实一些!”但这行不通,因为你永远无法捕捉现实中的所有复杂性,你的AI只会过度拟合改进后的模拟器,而且完美的模拟是不可能实现的(而且即使实现也会过于缓慢)。
相反,我们使用一个聪明的技巧:领域随机化(Domain Randomization,即在混乱中训练)。
在混乱中训练如何帮助机器人适应现实?
这里有一个驾驶的类比。如果你只在晴天的空旷高速公路上练习驾驶,那么在雨天或交通繁忙时你很可能会出事故。但如果你在雨天、雪天、雾天和晴天,以及在交通繁忙和空旷的道路上,驾驶不同类型的车辆(轿车、卡车、跑车),在各种路况(平整、坑洼、碎石路)下练习,你就会成为一个能应对任何情况的稳健驾驶员。
对于机器人,我们采取同样的方法:
每次训练过程,我们都会随机更改多个参数。重力在-12到-8米每二次方秒之间变化,模拟不同电机强度。地面摩擦力在正常值的0.5倍到2.5倍之间变化,模拟从地毯到地砖到冰面的各种情况。电机功率在80%到120%之间波动,模拟制造差异和电池损耗。我们为所有传感器测量值添加随机噪声,模拟真实传感器的不完美性。
# 每次机器人重置时,我们都会随机化环境
def reset_environment():
# 使重力更强或更弱(影响站立难度)
gravity = random_value_between(-
12
, -
8
)
# 使地面更滑或更涩
floor_friction = random_value_between(
0.5
,
2.5
)
# 使电机更弱或更强
motor_power = random_value_between(
0.8
,
1.2
)
# 为传感器添加噪声(模拟真实世界测量误差)
sensor_noise = random_value_between(
0.0
,
0.05
)结果是AI在所有这些条件下都学会了行走,因此现实世界只是它已经见过的另一种变化形式。是的,训练时间需要2到3倍更长,"理想"条件下的峰值性能略有下降。但当现实条件变化时,性能只会下降20%,而不是没有随机化时常见的80%或更多下降。
如果奖励值在上升,这还不够吗?为什么还需要其他指标?
这是毁掉大多数机器人项目的陷阱。标准机器学习只跟踪一个数值:奖励(AI表现的好坏)。对于机器人来说,单个数值存在致命缺陷。
除了奖励值,还应该跟踪哪些指标?
把它想象成监控汽车。速度表(奖励值)告诉你一件事,但你还需要转速表(发动机转速)、温度计和机油压力表。如果转速表进入红色区域或温度达到极限,你的速度毫无意义。你即将毁掉发动机。
- 首先,我们跟踪动作平滑度(Action Smoothness)。电机是平稳运动还是抖动?这相当于测量发动机振动。抖动意味着机械磨损和最终故障。我们目标值低于0.1,数值越低越好。
- 其次,我们监控平均扭矩(Average Torque)。电机平均工作强度如何?这类似于测量平均发动机负载,过高会导致过热和能量浪费。我们目标值保持在0.3到0.6之间以达到平衡。
- 第三,峰值扭矩(Peak Torque)告诉我们是否存在突然的力峰值。这相当于加速时测量发动机峰值负载,峰值会产生冲击载荷损坏齿轮。我们目标值低于0.9以避免饱和。
- 最后,动作分布(Action Distribution)显示电机的控制模式。健康的模式呈现平滑的钟形分布曲线和渐进运动。不健康的模式在极端值处出现尖峰,表明存在对电机有害的开关控制。
电机健康指标:动作平滑度从1.1下降到0.535,显示AI学会了更温和的电机控制
我如何实际构建和训练行走机器人?(分步指南)
你需要的设备和软件包括:笔记本电脑(Mac、Windows或Linux均可...本教程使用Mac M4),每个实验约20分钟的训练时间,以及运行脚本的基本Python知识。无需实际机器人!我们将进行全部模拟。
学习时应该使用哪种机器人环境?
我们使用的是一个现成的模拟环境 BipedalWalker v3。这是一个简单的二维机器人,拥有两条腿(总共四个关节:两个髋关节、两个膝关节)和 24 个传感器,用于追踪位置、速度和地面接触情况。目标非常明确:向前行走而不摔倒。
为什么选择这个环境?它开箱即用,无需自定义机器人模型,训练速度快(仅需笔记本电脑 3 分钟),能够演示我们讨论的所有问题,并且完全免费和开源。
import
gymnasium
as
gym
# 创建行走机器人环境
# render_mode="rgb_array" 表示无头模式(不显示窗口),对 macOS 至关重要
env = gym.make(
"BipedalWalker-v3"
, render_mode="rgb_array"
)
# 机器人可以控制 4 个关节(每条腿 2 个)
print(env.action_space)
# 输出: Box(-1.0, 1.0, (4,))
# 这意味着:4 个在 -1 到 1 之间的数字(电机指令)
# 机器人可以感知 24 个传感器值
print(env.observation_space)
# 输出: Box(..., (24,))
# 这意味着:24 个数字(角度、速度、地面接触等)实验 1:如果不考虑任何安全因素进行训练会发生什么?
让我们先以“正常”方式训练机器人。仅最大化奖励,不考虑任何安全因素。
如何运行基本训练会话?
在终端中复制粘贴以下内容
# 训练 300,000 步(在 M4 Mac 上约需 3 分钟)
python train_walker.py \
--timesteps 300000 \
--run_name baseline_no_safety#### 从天真训练中应该预期什么结果?
好消息是:奖励从 -100 上升到 211。机器人学会了行走!训练仅用了 3 分钟就完成。但这些令人印象深刻的数据背后隐藏着一个问题:动作平滑度仅为 0.615,这意味着电机的抖动比理想状态高出 61.5%。在真实硬件上,这会导致电机寿命缩短、噪声增加和系统不稳定。
第 100 个回合视频:基线(211 奖励)成功行走,但请注意腿部运动的轻微抖动... 在奖励指标中不可见,但对真实电机却是致命的。
#### 为什么标准指标无法发现这些问题?
你的训练仪表板自豪地显示奖励为 211(优秀!),回合长度为 300 步(未摔倒!),并显示“训练完成”状态。但它不会显示电机振动超出安全阈值 61.5%,也不会显示这会在不到一小时内损坏硬件。
💡 第一课:在机器人领域,奖励本身是谎言。
#### 实验 2:领域随机化真的能提升机器人性能吗?
现在让我们通过随机化环境使训练更困难。
如何向训练中添加领域随机化?
python train_walker.py \
--timesteps 300000 \
--domain_randomization \
--run_name full_pipeline_safe当我随机化训练环境时会发生什么变化?
在训练过程中,每回合都会随机改变重力(模拟不同电机强度)、地面摩擦力(模拟不同表面)、电机功率(模拟制造差异),并添加传感器噪声(模拟真实传感器)。
领域随机化实践:重力、摩擦力和电机功率在每回合中波动,迫使 AI 学习稳健策略。
领域随机化会损害机器人性能吗?
我们预计性能会下降,因为任务现在更困难了。但实际发生的情况让我们震惊:奖励增加到 247,比基线提升了 17%!在随机化条件下,机器人行走得更好了。
为什么?基线模型过度拟合,就像一个学生死记硬背一次考试,但题目稍有变化就失败。通过随机化,AI必须学习适用于所有情况的通用策略,这种策略甚至在“平均”情况下表现更好。
意外发现:领域随机化提升了性能!基线模型为211,完整流水线为247(提升17%)。随机化防止了对固定环境的过度拟合。
#### 实验3:如何防止机器人损坏自己的电机?
领域随机化提升了性能,但实际使运动抖动更严重。基线模型的平滑度为0.615,但使用领域随机化后反而升至0.714。现在需要明确惩罚突兀的运动。
什么是平滑度惩罚?它如何运作?
我们修改AI获得的奖励计算方式:
# 原始奖励(来自环境)
reward = distance_traveled - energy_used
# 添加惩罚项
for 快速变化的电机指令
if previous_action 存在:
change = |current_action - previous_action|
penalty = 0.05 * change # 0.05 是惩罚强度
# 最终奖励(AI实际看到的)
final_reward = reward - penalty用通俗语言解释:"我会给你前进的分数,但每次你太快改变电机指令时都会扣分。" AI会学到平滑运动等于更多奖励。
我应该设置多强的平滑度惩罚?
我们首先尝试了较弱的0.01惩罚:
python train_walker.py \
--domain_randomization \
--smoothness_penalty 0.01效果不佳!平滑度反而变得更差,达到0.714。惩罚力度太小,AI完全忽略并优先考虑性能。
随后我们尝试了较强的0.05惩罚:
python train_walker.py \
--domain_randomization \
--smoothness_penalty 0.05成功!平滑度提升至0.535,抖动减少25%。但代价是奖励降至59,性能下降76%。
训练过程中的电机平滑度:弱惩罚(粉色)无效,强惩罚(橙色)成功将抖动从1.1降至0.535,但牺牲了性能
我应该选择高性能还是电机安全性?
让我们看看完整情况:
摘要表
我应该向昂贵的机器人部署哪个策略?
对于价值1万美元的机器人,策略1(247奖励,0.714平滑度)能很好地行走...持续30秒。然后电机过热。你刚损坏了价值2000美元的伺服器。
策略3(59奖励,0.535平滑度)行走速度较慢且不够惊艳,但能持续数小时无故障。电机保持冷却并能使用多年。
你会怎么选?实际部署时,即使纸面数据不那么亮眼,你也会选择更安全的方案。
第100回合对比:注意强平滑度策略(59奖励)的运动更流畅、更谨慎,与基线策略(211奖励)充满活力但抖动的运动形成鲜明对比。视觉证据支持我们的量化平滑度测量结果。
我如何跟踪所有这些指标而不发疯?
在整个教程中,我们一直在将所有内容记录到Weights & Biases(W&B)。可以将其视为传统软件的Git+日志+监控,但对机器学习而言,它结合了实验跟踪、可视化和所有上述功能。
Weights & Biases实际能给我什么?
- 自动实验追踪意味着每次训练运行都会记录超参数(惩罚强度、随机化范围)、指标(奖励、平滑度、扭矩)、视频(实际机器人行为)和系统状态(GPU使用率、训练时间)。
- 实时仪表盘让你在训练过程中实时查看数据。你可以看到奖励曲线实时更新、电机健康指标实时更新,以及当指标变差时的警告提示。
- 训练完成后,实验对比变得简单直观。你可以在同一张图表中绘制所有三个实验,清楚看到哪种配置效果最佳,并与合作者分享结果。
- 可重复性已内置。W&B记录了所有参数,因此你可以完全复现相同的训练过程,合作者也可以复现你的工作。
我应该在W&B仪表盘中关注哪些内容?
完整的W&B仪表盘:领域随机化(顶部)、电机安全指标(中部)和视频录制(底部)...所有内容均自动追踪
顶部行显示领域随机化:重力、摩擦力和电机功率在整个训练过程中的变化。这验证了随机化确实正在发生,并有助于在出现问题时进行调试。
中间行通过动作平滑度(关键安全指标)、平均扭矩(能效)和峰值扭矩(损坏预防)展示电机健康状况。
底部行每50个回合记录一次实际机器人的行为视频。这能捕捉到指标中看不到的问题,并提供你需要的“真实情况”验证。
本教程的关键收获是什么
我们解决了哪些主要问题
模拟器会撒谎,因为现实中并不存在完美的物理规律。奖励指标不足:高分可能隐藏致命行为。当AI学习模拟器的特殊性而非通用技能时会发生过拟合。
哪些解决方案在实践中真正有效?
领域随机化通过在多样化条件下训练构建鲁棒性。硬件感知指标跟踪对真实机器人真正重要的指标。安全惩罚明确抑制有害行为。通过W&B等工具的全面日志记录让你能够看到所有信息。
改变一切的关键洞察是什么?
“最佳”AI模型不是奖励最高、训练最快或架构最复杂的那个。真正的“最佳”AI模型是对现实世界变化具有鲁棒性、对硬件安全且确实可以部署的模型。
我在哪里可以找到代码并开始实验
完整代码可在GitHub的rl-sim2real-tutorial仓库中找到,你可以在W&B项目仪表盘查看我们的实验。
只需5分钟即可设置
git clone https:
//github.com/your-username/rl-sim2real-tutorial
cd rl-sim2real-tutorial
pip install -r requirements.txt
wandb login
python train_walker.py --timesteps
300000#### 在部署到真实硬件前应该做什么?
在部署到硬件前,请遵循此检查清单。使用强领域随机化进行训练。为你的特定电机添加安全惩罚。在模拟中验证平滑度指标。在现实中从50%电机功率开始。准备紧急停止按钮。持续监控电机温度。
现实仍会带来惊喜,但你已做好准备。
为什么这种方法比传统机器人方法更重要?
传统机器人方法遵循一个痛苦的循环:在模拟中训练AI,获得高分,部署到硬件,看着它失败,如果硬件幸存就重复这个过程。
你刚刚学到的方法有所不同。你将在多种条件下训练 AI,关注真正重要的因素,将安全性融入训练过程,通过多项指标验证,并自信地部署。
区别何在?传统方法会说“模拟中有效!”但现实环境可能 30 秒内崩溃。我们的方法会说“具备鲁棒性和安全性”,并能持续稳定运行数小时。
这就是研究演示与可部署机器人之间的差距。
代码:GitHub | 实验:W&B Dashboard
分享本文: /