ICRA 2026｜NVIDIA Research将机器人技术从模拟发展到现实世界

原文链接：icra-research-robotics-simulation-to-real-world

原文作者：Katie Washabaugh

在国际机器人和自动化会议上，八篇新的英伟达研究论文展示了经过模拟训练的机器人是如何进入现实世界的。

 

机器人技术正在进入一个新阶段：从受控演示和脚本自动化转向现实世界中可推广、可靠的体现自主。

 

在国际机器人和自动化会议（ICRA）上，NVIDIA Research的28篇被接受的论文中有8篇展示了模拟到现实的传输如何成为这种转变的基础，帮助机器人在动态、不可预测的环境中感知、推理、计划和行动。

 

这些论文共同涵盖了机器人开发人员面临的挑战：并行协调多个手臂，构建跨机器人身体通用的政策，在杂乱中抓住新事物，执行精确的组装，以及开发在移动前推理的视觉-语言-动作模型。

 

通道很清楚：sim-to-real正在成為機器人的基礎，這些機器人可以在實驗室外以更高的可靠性進行適應、概括和操作。

 

Coordinating Arms, Navigating Bodies, Grasping Objects

 

想象一下一个由机械臂运行的制药实验室：拾取试管、转移液体、混合试剂——每个步骤都需要不同的时间，都需要仔细协调。

 

传统的机器人调度软件按顺序处理这些步骤，一次一个手臂。

 

ScheduleStream透過在GPU上執行計算來改變這一點，讓多個手臂計劃移動並行操作。结果——在NVIDIA Jetson edge AI平台等硬件上，跨多臂规划场景加快了3倍的速度。框架的代码可以在GitHub上找到。

 

一个学习在空间中导航的机器人——避开障碍物并找到目的地——通常学会在一个身体中做到这一点。将相同的导航软件放入形状不同的机器人中，它经常会散架，因为它的部件都以不同的方式移动。

 

COMPASS政策框架通过首先使用模仿学习构建基线导航功能，然后使用NVIDIA Isaac Lab中的剩余强化学习来为各种机器人实现构建专家来解决这个问题。至关重要的是，任何阶段都不涉及现实世界的机器人数据：一切都在Isaac Lab模拟中进行训练。

 

与模仿学习基线相比，COMPASS的平均成功率提高了4.5倍。它还无缝传输到现实世界环境，在自主移动机器人和人形的20次现实世界导航试验中展示了约80%的成功。

 

COMPASS对代理友好，具有专门的技能——开发人员可以将管道与NVIDIA Omniverse NuRec连接起来，以便在部署前在新环境的数字孪生中对机器人进行后训练和验证。

 

大多数抓取系统识别对象，预测抓取，规划路径，然后执行。但最后几厘米是小错误最重要的地方。

 

Grasp-MPC自适应地计算机器人抓取，在机器人靠近物体时不断纠正其运动，而不是执行固定计划——一个人通过感觉而不是提前计算每个关节角度来抓取东西的方式。

 

为了制定该政策，研究人员使用GraspGen数据集的注释和来自cuRobo（用于机器人运动生成的CUDA加速库）的运动规划数据，在8000个物体上生成了200万个物体的模拟轨迹。

 

在对成功和失败轨迹进行培训后，Grasp-MPC学会了在杂乱的桌面和架子上掌握新颖的物体——在真实机器人上取得了约75%的总体成功率，而基线为41%。

 

可变形聚类操作引入了一个框架，该框架应对了一个平行挑战：使系统能够同时抓取整个灵活、纠结的材料，而不仅仅是一个对象。

 

该框架的动机是一个现实世界的任务：清除生长在电力线上的大量树枝，那里没有干净的物体可以抓住。系统使用整个手臂，而不仅仅是抓手：将其缠绕在分支集群上，然后将其扫到一边，就像有人可能会收集一臂的电缆或将纠结的刷子推开的方式。

 

研究人员使用生物生长方程构建了一个树生成器，以创建许多不同形状和大小的合成树——然后在NVIDIA Isaac开放模拟框架中训练了数千棵树的系统。

 

该政策部署到真正的分支零射击。除了电力线之外，研究人员还看到了电缆管理、农业检查以及机器人需要处理纠结而不是单个可抓取物品的任何地方的潜力。

在零射击模拟到真实部署中清除树枝。

 

Assembling With Precision

 

精确的组装——将螺母穿入螺栓上，将齿轮插入齿轮轴，将钉子压入孔中——仅通过模拟是出了名的难。

 

现实世界是复杂的。真正的表面并不完美光滑。传感器的行为不按规定进行。模拟器忽略的微小差异可能会阻止机器人的脚步。

 

SPARR方法通过将工作一分为二来解决这一问题。在Isaac Lab中训练的策略学习模拟中组装任务的一般策略。然后，在实际硬件上，第二层学会纠正模拟器出错的任何东西——使用机器人自己的相机，无需任何人类演示或指导。

 

与零射击模拟到真实基线相比，SPARR的成功率提高了38%，周期时间缩短了约30%。

 

在培训期间没有看到的国家标准与技术研究所（NIST）组装任务上，成功率提高了近75%——接近需要人工参与的方法的结果。

 

炼油厂框架在装配中具有下一层难度：具有多个顺序步骤的任务，其中第一步的完成程度决定了第二步是否可能。这就像组装家具一样——将面板放在错误的角度，下一个紧固件就进不去。

 

通过了解成功如何因初始条件而异，以及数百个模拟组装场景中的培训，炼油厂学习如何完成每个步骤，并将每个组件留在下一个设置的位置。与现实世界结果相当可比的基线相比，它实现了91%的模拟成功率和近11%的平均改进——其政策可以串联在一起处理冗长的多部分序列。

 

Action Models That Keep Their Word

 

PEEK管道帮助机器人看到杂乱无章的东西。在典型的操作任务中，机器人的相机会捕捉到场景中的所有内容——但其中大部分是无关紧要的噪音。

 

PEEK项目页面上展示的一项任务是“把香蕉交给英伟达创始人兼首席执行官黄仁”：一张黄的照片与迈克尔·乔丹的照片一起放在桌子上，这是一组不相关的物体和其他分散注意力的东西。

 

完成任務的人立即專注於香蕉和正確的照片；標準的機器人政策必須處理一切，並且經常感到困惑。PEEK通过让视觉语言模型读取任务指令并相应地聚焦机器人的视线来解决这个问题——显示运动路径，并突出显示重要物体周围，同时淡化其他一切。

 

然后，该政策根据注释的观点行事，而不是原始场景。对于纯粹在模拟中训练的政策，添加PEEK的准确性比现实世界提高了41倍。对于大型VLA模型和较小的政策，收益范围为2-3.5倍。由于它在图像级别工作，PEEK无需修改即可与任何基于相机的策略集成。

 

言出所力——与卡内基梅隆大学、犹他大学和悉尼大学的研究人员合作——解决了机器人处理更长、更复杂的任务时更重要的特定故障模式。

 

给机器人一个指令，比如“把所有东西都放在柜子里的这个桌子上”或“准备曼哈顿”，它必须将其分解成单独的步骤，并按顺序执行它们。

 

问题是，人工智能模型可以正确推理它需要做的事情——然后执行一些不同的东西。

 

这种称为SEAL的方法在运行时修复了这一点，无需任何再训练：机器人生成几个候选动作序列，思考每个动作序列实际上会引导到哪里，并选择与它所说的结果相匹配的结果。与之前的工作相比，SEAL提供了高达15%的精度提升，对改写指令、更改对象、场景杂乱和移动相机角度具有稳健性。

 

除了论文之外，英伟达还通过机器人的大规模开放数据集扩展机器人研究基础设施。NVIDIA物理人工智能数据集是世界上最大的物理开发开放数据集，下载量超过1500万次，而NVIDIA Isaac GR00T X Embodiment Sim已成为下载量最大的机器人数据集之一。

 

 

雷峰网(公众号：雷峰网)