利用NVIDIA Isaac平台构建、设计并部署机器人应用

机器人在智能制造设施、商业厨房、医院、仓库物流和农业领域等不同环境中的应用正在迅速扩展。该行业正在向智能自动化转变，这需要增强的机器人功能来执行感知、地图构建、导航、负载处理、物体抓取和复杂的装配任务等功能。

AI 在这一变革中发挥着关键作用，提高了机器人的性能。通过集成 NVIDIA AI 加速，机器人可以更高的精度和效率处理复杂的任务，在各种应用中充分发挥自己的潜力。

在 COMPUTEX，NVIDIA 宣布了一些新功能，可帮助机器人专家和工程师构建智能机器人。这些功能包括：

NVIDIA Isaac Perceptor，一种适用于自主移动机器人（AMR）和自动导引车（AGV）的新参考工作流。

NVIDIA Isaac 机器人操作系统（ROS）为工业机械臂提供了新的基础模型和参考工作流程。

面向机器人的 NVIDIA Jetson，以及 NVIDIA JetPack 6.0 中的最新更新。

NVIDIA Isaac Sim 4.0引入了 NVIDIA Isaac Lab，这是一款轻量级应用，用于机器人学习。

NVIDIA Isaac Perceptor

AMR 和 AGV 对于装配线效率、物料搬运和医疗健康物流至关重要。随着这些机器人在复杂和非结构化环境中导航，感知周围环境并作出反应的能力变得至关重要。

Isaac Perceptor，基于 NVIDIA Isaac 机器人操作系统（ROS），助力原始设备制造商（OEM）、货运服务提供商、软件供应商和自动移动机器人（AMR）生态系统加速机器人开发。团队可以为移动机器人配备感知功能，以便在非结构化环境中成功导航和避障。

Isaac Perceptor 的早期合作伙伴包括仓储/内部物流领域的行业领导者、汽车制造商、工业机器人制造公司和机器人解决方案提供商，例如 ArcBest、比亚迪电子、Gideon、KION、Kudan、IdealWorks、RGo 以及 Teradyne 机器人等。

Isaac Perceptor 的主要特性

Isaac Perceptor 提供的功能可为基于 AI 的自主移动机器人提供多摄像头、3D 环绕视觉功能。

基于 AI 的多摄像头深度感知

Isaac Perceptor 以每秒 30Hz 的刷新率处理 16.5M 深度点。立体差异通过来自立体摄像头的时间同步图像对计算得出，用于为场景生成深度图像或点云。高效的半监督式深度神经网络（ESS DNN）为基于深度神经网络的立体差异提供了 GPU 加速支持。

▲图 1 ESS DNN 检测 5 米处的障碍物

多摄像头视觉惯性测距

Isaac ROS 视觉 SLAM 提供 ROS 2 软件包，用于视觉同步定位和映射（VSLAM）和视觉测距（VO）。这基于 NVIDIA 的 CUDA 视觉 SLAM（cuVSLAM）并提供强大的导航功能，在无特色环境中导航时，翻译错误率不到 1%。

在具有稀疏视觉特征或重复模式的环境中导航对 VSLAM 解决方案来说是一个众所周知的挑战。可以通过融合来自多个视角的输入来缓解这一问题。在最新的更新中，cuVSLAM 整合了来自多个立体摄像头的并发视觉测距估计。

测试表明有了显著改进。机器人使用多个摄像头持续实现其导航目标，而使用单个摄像头则不到 25%。

▲表 1 cuVSLAM 与 FRVO、S-PTAM 和 ORB-SLAM2 的性能比较。cuVSLAM 显示了使用多个摄像头加速机器人导航的性能

▲图 2 使用一个摄像头的 Isaac ROS Visual SLAM 与两个摄像头和四个摄像头的对比

实时、多摄像头立体像素网格映射

Isaac Perceptor 的核心是 nvblox，一个使用 CUDA 加速的 3D 场景重建库，可以识别距离最远 5 米的障碍物，以提供 2D 成本图，并在 300 毫秒内进行更新。

Isaac ROS nvblox 提供了用于三维场景重建的 ROS 2 软件包和用于导航的本地障碍物成本地图生成软件包。此软件包可应用于静止环境以及包含人员和移动对象的场景。

此版本中的新增功能是使用多达三个 HAWK 摄像头提供多摄像头支持，以扩大覆盖范围，从而提供约 270° 的视野。

▲图 3 使用 Isaac ROS Nvblox 进行立体像素 3D 重建，包括悬置障碍物重建

NVIDIA Nova Orin 开发者套件

此开发者套件采用 NVIDIA Jetson AGX Orin，支持多达六个摄像头，包括多达三个立体摄像头和三个鱼眼摄像头，摄像头内部延迟不到 100 微秒。

立体摄像头的分辨率为每个摄像头的 2MP，视野为 110X70，适用于三维占用网格映射、深度感知、视觉测距和人员检测。购买 Nova Orin 开发者套件，可以使用 Segway 或 Leopard 成像的 Isaac Perceptor。

Isaac Perceptor 在此开发者套件中提供了一个参考图，支持多达三个立体摄像头。借助 ROS 2 软件包的增强模块化，此版本还提供了一个参考集成，即 Nav2 的 Nova Carter 参考机器人。

增强了与摄像头和传感器的兼容性

Isaac Perceptor 提供了与摄像头和传感器合作伙伴的集成的增强支持。Orbbec 成功集成了带有 NVIDIA Isaac Perceptor 组件的 Gemini 335L 摄像头。使用 Isaac ROS 视觉 SLAM 和 Nvblox 在 NVIDIA Jetson AGX Orin 上演示了这种集成。

LIPS 还成功地将其 AE450 摄像头与 Isaac 感知器组件 Nvblox 集成。

NVIDIA Isaac Manipulator

Isaac Manipulator是由 NVIDIA 加速库和 AI 模型组成的工作流程。它使开发者能够将 AI 加速应用于机器人臂或操作器，以便无缝感知、理解环境并与环境进行交互。

其基础模型和加速库可以作为独立模块集成，也可以作为整个工作流程集成到解决方案开发中。除了独立的模块化组件外，还为开发者提供了示例工作流程（ROS 2 启动脚本），这些工作流程结合了 Isaac Manipulator 组件，以实现完整的端到端参考集成。

▲图 4 利用 NVIDIA 组件的 Isaac Manipulator 工作流程示例（绿色）

Isaac Manipulator 的早期协作者包括机器人开发者平台公司、OEM 和 ISV/SI，包括 Intrinsic（一家 Alphabet 公司）、西门子、Solomon、Techman 机器人、Teradyne 机器人、Vention 以及 Yaskawa。

Isaac Manipulator 的主要特性

Isaac Manipulator 引入 AI 功能来加速机械臂的开发。

cuMotion 可加快路径规划速度

此 GPU 加速的运动规划器有助于缩短周期时间。cuMotion 可作为 MoveIt 2 动作规划框架，这是一个由国际社区开发的开源项目，由 PickNik Robotics 领导。

cuMotion 在多个种子间并行运行轨迹优化，并返回最佳解决方案。

作为高级视觉和机器人解决方案的领导者，Solomon 是 Isaac Manipulator 的早期合作者。与传统算法相比，由 Isaac Manipulator cuMotion 增强的 bin-picking 系统将路径规划速度提高了 8 倍，并将路径奇点率降低了 50%。

▲表 2 使用 Isaac Manipulator 的 Solomon 垃圾桶拣货系统的性能增强。Solomon 的成功率、移动时间、轨迹长度和规划时间都有显著提高，路径奇点出现次数减少。

FoundationPose

FoundationPose 是一种新的统一基础模型，用于对新对象进行单次六维度姿态估计和跟踪。此模型旨在在遇到以前未见过的物体的应用程序中实现高精度工作，而无需进行微调。

FoundationPose 目前位于 2023 年 BOP 排行榜，用于对未见物体进行 6D 定位。它对遮挡、快速运动以及纹理和缩放等各种物体属性非常可靠，可以确保跨场景提供可靠的性能。开发者可以从任何角度生成物体的逼真视图。

▲图 6 使用 NVIDIA FoundationPose 进行姿态估计和追踪

SyntheticaDETR

SyntheticaDETR 是一组基于实时检测 Transformer（DETR）的模型，用于单次图像空间物体检测，该模型基于使用 NVIDIA Omniverse 平台。它使用 Transformer 编码器 – 解码器架构一次预测所有物体，从而实现比传统物体检测方法更高效的检测效果。

▲图 7 使用 SyntheticaDETR 进行物体检测和追踪

经过合成数据和真实数据的训练，SyntheticaDETR 在 BOP 排行榜上实现了 YCB-Video 数据集上的 2D 物体检测（平均精度为 0.885，平均召回率为 0.903）。

这些模型还可以将物体检测为 NVIDIA FoundationPose 等姿态估计器的 2D 边界框感兴趣区域。下载合成测试模式，然后下载 Isaac Manipulator，以便进行进一步的操作。

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 兼容 JetPack 6.0并支持所有 NVIDIA Jetson Orin 模组和开发套件。

NVIDIA Jetson 平台服务即将推出模块化、API 驱动的服务，可更快、更轻松地构建生成式 AI 和机器人应用。这些预构建和可定制的服务旨在加速 NVIDIA Jetson Orin 系统模组上的 AI 应用开发。

NVIDIA Isaac Sim 4.0

借助Isaac Sim，开发者可以借助行业领先的传感器和机器人类型测试，生成合成数据和各种复杂的虚拟测试环境。这可实现高度逼真的模拟，同时实时测试数千个机器人。

NVIDIA Isaac 实验室

Isaac 实验室是基于 Isaac Sim 平台构建的轻量级参考应用，在机器人基础模型训练中扮演着核心角色。它支持强化学习、模仿学习和迁移学习，能够训练各种机器人实施方案，为开发者提供设计和功能的探索空间。

新版本还可通过兼容性检查器轻松集成 VSCode、为强化学习提供多 GPU 支持、通过 RTX 传感器平铺渲染提高性能、优化缓存和着色器管理。

Isaac Sim 的其他新功能包括：

易于使用 PIP 安装和用于导入机器人等的向导。

合成数据生成（SDG）速度提升高达 80%，从而提升性能

支持 COCO 格式和用于姿态估计的自定义写入器的新 SDG 格式。

ROS 2 启动支持，提供端到端工作流程，并为基于图像的发行商提供更好的性能。

更多内置机器人支持：包括 Universal Robots UR20、UR30 和 Boston Dynamics Spot。还有许多人形机器人，包括 1X Neo、Unitree H1、Agility Digital、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 Xiaopeng PX5。