NVIDIA生成式AI进入ROS社区

NVIDIA 在 ROSCon 上发布更新，旨在加速 AI 驱动的机械臂和自主移动机器人的开发。

在丹麦最古老的城市之一、自动化中心欧登塞举行的 ROSCon 上，NVIDIA 及其机器人生态合作伙伴发布了适用于机器人操作系统（ROS）开发者的生成式 AI 工具、仿真和感知工作流。

其中包括供 ROS 开发者部署到NVIDIA Jetson边缘 AI 和机器人平台的全新生成式 AI 节点和工作流。借助生成式 AI，机器人能够感知并理解周围环境、与人类自然交流，并自主做出适应性决策。

生成式 AI 进入 ROS 社区

基于 ROS 2 构建的 ReMEmbR 使用生成式 AI 来增强机器人的推理和行动能力。它将大语言模型（LLM）、视觉语言模型（VLM）和检索增强生成相结合，使机器人能够建立并查询长期语义记忆，并提高其导航和与环境交互的能力。

语音识别功能由 WhisperTRT ROS 2 节点提供支持。该节点使用NVIDIA TensorRT对 OpenAI 的 Whisper 模型进行优化，在 NVIDIA Jetson 上实现了低延迟推理，从而实现反应灵敏的人机交互。

具有语音控制功能的 ROS 2 机器人项目使用NVIDIA Riva ASR-TTS服务，使机器人能够理解和响应语音命令。NASA 喷气推进实验室单独演示了一个适用于 ROS 的 AI 智能体 ROSA，可在其 Nebula-SPOT 机器人和NVIDIA Isaac Sim中的NVIDIA Nova Carter机器人上运行。

Canonical 在 ROSCon 上展示了 NanoOWL。通过这个在NVIDIA Jetson Orin Nano系统模块上运行的零样本物体检测模型，机器人无需依赖预定义类别，就能实时识别各种物体。

开发者现在就可以开始使用 ROS 2 生成式 AI 节点，它带来了经 NVIDIA Jetson 优化的 LLM 和 VLM，以增强机器人的能力。

通过“以仿真为中心”的方法

改进 ROS 工作流

在部署 AI 机器人之前，仿真对于安全测试和验证 AI 机器人至关重要。NVIDIA Isaac Sim 是一个基于 OpenUSD 构建的机器人仿真平台，它为 ROS 开发者提供了一个虚拟环境，使开发者可以轻松地将机器人连接到他们的 ROS 软件包来测试机器人。关于使用 Isaac Sim 的 ROS 2 工作流的新版入门指南现已发布，该指南详细讲解了现已可用的机器人仿真和测试的端到端工作流。

作为 NVIDIA 初创加速计划的会员，Foxglove 展示了一个集成，可以帮助开发者使用基于 Isaac Sim 构建的Foxglove 自定义扩展程序，实现仿真数据的实时可视化和调试。

Isaac ROS 3.2 的新功能

NVIDIA Isaac ROS 基于开源 ROS 2 软件框架构建而成，是一套用于机器人开发的加速计算软件包和 AI 模型。即将发布的 3.2 版本增强了机器人的感知、操作和环境映射能力。

NVIDIA Isaac Manipulator的主要改进包括集成了 FoundationPose 和 cuMotion 的新参考工作流，可加速机器人拾放和对象追踪管线的开发。

NVIDIA Isaac Perceptor也经过了改进，加入了全新的视觉 SLAM 参考工作流、增强型多摄像头检测和 3D 重建功能，可提高自主移动机器人（AMR）在仓库等动态环境中的环境感知能力与性能。

使用 NVIDIA Issac 的合作伙伴

机器人公司正在将 NVIDIA Isaac 加速库和 AI 模型集成到他们的平台中。

优傲机器人（泰瑞达的子公司）推出了一个新的 AI 加速器工具包，以开发 AI 驱动的协作机器人应用。

Miso Robotics正在使用 Isaac ROS 加快其 AI 机器人薯条制作机 Flippy Fry Station 的速度，并提高餐饮服务自动化的效率与准确性。

Wheel.me正在与 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor创建一个生产就绪型自主移动机器人（AMR）。

Main Street Autonomy正在使用 Isaac Perceptor 来简化传感器校准。

奥比中光发布了其Perceptor 开发者套件，这是一个适用于 Isaac Perceptor 的开箱即用型 AMR 解决方案。

立普思推出了一款用于改进 AMR 导航能力的多摄像头感知开发套件。

Canonical强调了经过全面认证的 Ubuntu ROS 开发者环境，为 ROS 开发者提供了开箱即用的长期支持。

在 ROSCon 上与合作伙伴交流

ROS 社区成员与合作伙伴（包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、西门子和泰瑞达）在丹麦举办多场研讨会、讲座、展台演示和会议。重点活动包括：

BoF 会议“Nav2 用户见面会”，主持人：Steve Macenski，Open Navigation LLC

ROS 在大规模工厂自动化中的应用，主持人：Michael Gentner，宝马公司；Carsten Braunroth，西门子公司

BoF 会议“在机器人操纵工作流中集成 AI”，主持人：Kalyan Vadrevu，NVIDIA

BoF 会议“在仿真中加速大规模机器人学习”，主持人：Markus Wuensch，NVIDIA

Nav2 Docking 的使用，主持人：Steve Macenski，Open Navigation LLC

ROSCon 由开源机器人基金会（OSRF）组织举办。NVIDIA 是 OSRF 旗下组织 Open Robotics 及其所有倡议的支持者。