NVIDIA技术推动机器人仿真

以下文章来源于NVIDIA英伟达企业解决方案，作者NVIDIA

借助机器人仿真，开发人员能够在基于物理学的现实世界数字呈现中对机器人进行虚拟训练、测试和验证。

如今，机器人已经能够搬运仓库中的货物、包装食品、帮助组装车辆等，提高了各行各业用例的自动化水平。

物理 AI 和机器人仿真是决定机器人成功的两大关键要素。

物理 AI指的是能够理解物理世界并与之互动的 AI 模型。物理 AI 代表了下一代自主机械与机器人，例如无人驾驶汽车、工业机械臂、移动机器人、人形机器人，甚至工厂、仓库等依靠机器人运行的基础设施。

现在可以在数字世界中对机器人进行虚拟调试，在将机器人部署到现实世界的用例之前，先使用机器人仿真软件训练机器人。

1机器人仿真概述

先进的机器人仿真平台有助于机器人学习和无需实体机器人的虚拟机器人测试。通过应用物理原理和复制现实条件，这些仿真平台能够生成合成数据集，并使用这些数据集训练机器学习模型，从而使这些模型能够部署到实体机器人上。

仿真被用于初始 AI 模型训练以及之后整个软件栈的验证，最大程度地减少了测试过程中对物理机器人的需求。NVIDIA Isaac Sim 是一个基于 NVIDIA Omniverse 平台构建的参考应用，该应用提供准确的可视化效果，并支持基于通用场景描述(OpenUSD)的先进机器人仿真和验证工作流。

2NVIDIA 的“三台计算机”框架

推动机器人仿真

训练和部署机器人技术需要三台计算机。

一台超级计算机：用于训练和微调强大的基础和生成式 AI 模型。

一个用于机器人仿真和测试的开发平台。

一台机载运行时计算机，用于将训练好的模型部署到实体机器人上。

只有在仿真环境中经过充分训练的实体机器人才能投入使用。

专为机载计算设计的 NVIDIA Jetson Thor 机器人计算机可作为第三台运行时计算机。

3谁在使用机器人仿真?

如今，机器人技术和机器人仿真大大促进了各种用例的运行。

全球领先的电源和热能技术公司台达电子使用仿真测试其光学检测算法，该算法将被用于检测生产线上的产品缺陷。

深度技术初创公司 Wandelbots 正通过将 Isaac Sim 集成到其应用中构建一个定制仿真平台。借助该仿真平台，终端用户能够轻松地对仿真中的机器人工作单元进行编程，并将模型无缝转移到真实机器人上。

波士顿动力正通过其强化学习研究者套件助力研究人员和开发人员。

傅利叶公司正在对现实条件进行仿真，以便训练人形机器人，使之获得与人类密切协作所需的精确性和敏捷性。

银河通用使用 NVIDIA Isaac Sim 构建了 DexGraspNet。这个用于灵巧机器人抓取的综合仿真数据集包含 100 多万次对 5,300 多个物体的 ShadowHand 抓取。该数据集可应用于任何灵巧机器人手，使其完成需要精细运动技能的复杂任务。

4使用机器人仿真提高规划和控制效果

在复杂多变的工业环境中，不断发展的机器人仿真集成了数字孪生，从而提高了规划、控制和学习的效果。

开发人员先是将计算机辅助设计模型导入机器人仿真平台以构建虚拟场景，然后使用算法创建机器人操作系统并进行任务和运动规划。传统方法需要规定控制信号，而在采用机器学习后，机器人可以通过模仿和强化学习等方法，利用仿真传感器信号学习行为。

这一发展还在继续。通过将数字孪生应用于装配生产线等复杂的设施，开发人员可以完全在仿真中测试和完善实时 AI。这种方法节省了软件开发时间和成本，并通过预测问题减少了停机时间。例如借助 NVIDIA Omniverse、Metropolis 和 cuOpt，开发人员可以使用数字孪生在仿真中开发、测试和完善物理 AI，然后再将其部署到工业基础设施中。

NVIDIA 将数字孪生与实时 AI 结合以用于工业自动化

5基于物理学的突破性高保真仿真技术

基于物理学的高保真仿真通过在虚拟环境中进行现实世界的实验，大大推动了工业机器人技术的发展。

集成在 Omniverse 和 Isaac Sim 中的 NVIDIA PhysX 可帮助机器人专家开发机器人机械手的精细运动和大运动技能、刚体和软体动力学、车辆动力学等其他确保机器人遵守物理定律的关键功能。其中包括对机器人运动精确性至关重要的精准执行器控制和运动学建模。

为了缩小仿真与现实世界之间的差距，Isaac Lab 提供了一个高保真开源强化学习和模仿学习框架，实现了策略从仿真环境到实体机器人的无缝迁移。Isaac Lab 通过 GPU 并行化加快训练速度和提高性能，使工业机器人能够更加安全地完成复杂的任务。

如要了解关于使用 Isaac Sim 和 Isaac Lab 创建机器人移动强化学习策略的更多信息，请阅读《开发者专区丨如何训练 Spot 四足机器人运动?》(点击跳转推文)。

6通过无碰撞运动训练实现自主运行

工业机器人训练通常在工厂或订单履行中心等特定环境中进行。在这些环境中，仿真能够帮助解决与各种机器人类型和混乱环境相关的挑战，其中的一个重点是在未知、杂乱的环境中生成无碰撞运动。

在未知或动态环境中，如果使用传统的运动规划方法应对这些挑战，那么结果可能会差强人意。SLAM(同步定位和映射)能够使用多个视角的摄像机图像生成环境的 3D 地图。但每当物体移动和环境发生变化时，就需要对这些地图进行修改。

NVIDIA Robotics 研究团队和华盛顿大学推出了运动策略网络(MπNets)。这项端到端神经策略使用一个固定摄像头的数据流生成实时、无碰撞的运动。经过 300 多万次运动规划问题和 7 亿次仿真点云的训练，MπNets 可在未知的现实环境中进行有效的导航。

除了直接学习轨迹的 MπNets 模型之外，该团队还开发了基于点云的碰撞模型 CabiNet。该模型在超过 65 万个程序化生成的仿真场景中训练而成。

凭借 CabiNet 模型，开发人员可以在平面桌面设置之外部署通用的未知物体拾放策略。在使用大型合成数据集进行训练后，该模型无需任何真实数据，就能在真实厨房环境中泛化到分布外场景。

7开发人员如何开始构建机器人仿真平台

访问 NVIDIA 机器人仿真用例页面，了解开发达到物理学精度的仿真流程所需的技术资源、参考应用和其他解决方案：

机器人开发人员可以使用 NVIDIA Isaac Sim，该应用支持多种机器人训练技术：

用于训练感知 AI 模型的合成数据生成

整个机器人堆栈的软件在环测试

使用 Isaac Lab 进行的机器人策略训练

开发人员还可以同时使用 ROS 2 与 Isaac Sim 进行机器人系统的训练、仿真和验证。Isaac Sim - ROS 2 工作流与使用 Gazebo 等其他机器人仿真平台执行的工作流类似。该工作流首先将机器人模型载入预构建的 Isaac Sim 环境，为机器人添加传感器，然后将相关组件连接到 ROS 2 行动图并通过 ROS 2 软件包控制机器人实现机器人仿真。