NVIDIA发布高性能感知技术的最新项目

自主机器人所面临的关键挑战之一是感知和理解周围的世界。

在 ROS World 2021 上，NVIDIA 发布了向 ROS 开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和 AI/ML 功能整合到基于 ROS 的机器人应用程序中的任务。

公告要点

性能最强的实时立体测距解决方案以 ROS 包的形式提供

NGC 上的所有 NVIDIA 推理 DNN 均可以 ROS 组件的形式提供，并带有图像分割和姿态估计实例

Isaac Sim 中的新合成数据生成（SDG）工作流程，可为视觉 AI 训练创建大规模生产级数据集

Omniverse 上的 NVIDIA Isaac Sim GA 版本提供 ROS 开箱即用支持，是迄今为止对开发者最友好的版本

NVIDIA Isaac ROS GEM – 经过优化的性能

Isaac ROS GEM 提供图像处理和计算机视觉等组件，其中有针对 NVIDIA GPU 和 Jetson 进行高度优化的 DNN 算法。

重点GEM

立体视觉测距 – 超高的精度和经过优化的性能

当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry 为 ROS 开发者提供这项强大的功能。

该 GEM 为实时立体摄像机视觉测距解决方案提供最佳精度。除了高精度之外，这个 GPU 加速组件的运行速度也非常快。现在已可以在 NVIDIA Jetson Xavier AGX 上以高清分辨率（1280×720）实时（》60fps）运行 SLAM。

重点 GEM DNN 推理现已向 ROS 开发者

开放所有 NGC DNN 推理模型

您可以使用 NVIDIA 在 NGC 上提供的众多推理模型中的任何一种，甚至可以使用 DNN 推理 GEM（一套ROS2软件包）提供自己的 DNN 推理模型。开发者可以使用 NVIDIA TAO 工具套件对预训练模型进一步调整或者对自定义模型进行优化。

经过优化后，这些组件由 NVIDIA 推理服务器 TensorRT 或 Triton 部署。凭借使用 TensorRT（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，则应使用 Triton 来部署该模型。

GEM 包含对 U-Net 和 DOPE 的原生支持。基于 TensorRT 的 U-Net 组件可用于从图像中生成语义分割掩码。而 DOPE 组件可用于对所有检测到的物体进行三维姿态估计。

该工具是在 ROS 应用中加入高性能 AI 推理的最快方式。

NVIDIA Isaac SIM GA 版本

Isaac Sim 的 GA 版本将于 2021 年 11 月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的 ROS 桥和更多 ROS 样本将提高 ROS 开发者的开发体验。

该版本的更新内容

（2021.2版本计划于2021年11月发布）

提升了性能，减少了内存用量和启动时间

经过改进的占位图生成，URDF 导入器

新的环境：大型仓库、办公室、医院

用于与机器人、物体、环境对接的新 Python 构建模块

经过改进的 ROS/ROS2 桥、深度点云和激光雷达点云性能

样本更新

Multi-robot navigation with ROS2

使用 ROS2 实现多机器人导航

SDG with Domain Randomization in Jupyter

Jupyter 中带有域随机化的 SDG

新的合成数据生成工作流程

来自 Isaac Sim 的生产级数据集

自主机器人需要使用大量不同的数据集，来训练众多运行其感知栈的 AI 模型。从真实世界场景中获取全部训练数据的成本过高，而且一些极端场景可能存在危险。Isaac Sim 提供的新合成数据工作流程，通过建立生产级数据集解决了自主机器人的安全和质量问题。

建立数据集的开发者，可以控制物体在场景中的随机分布、场景本身、照明和合成传感器。开发者也可以通过精细的控制，确保数据集中包含重要的极端案例。最后，该工作流程支持版本控制和调试信息，因此可以在需要审核和保障安全时完整地复制数据集。

责任编辑：haq