还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA Isaac ROS GEM的功能特性

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-08-14 11:12 次阅读

NVIDIA Isaac ROS GEM 是一款基于硬件加速的软件包,可以让 ROS 开发者更轻松地基于 NVIDIA 硬件构建高性能解决方案。

NVIDIA Isaac ROS GEM功能特性

高吞吐量感知

Isaac ROS GEM 提供的软件包中包括图像、计算机视觉,以及针对 NVIDIA GPU 和 Jetson 高度优化的 DNN 处理功能。

灵活的模组化软件包

借助模组化软件包,ROS 开发者可以准确地选择需要集成到其应用中的内容。这意味着他们可以替换整个工作流,也可以仅更换一种算法。

缩短开发时间

Isaac ROS GEM 经过精心设计和测试,与现有的常见 ROS 节点相似,更易于集成到现有应用中。

适用于ROS开发者

且丰富多样的感知AI软件包

ROS 2 节点可应对常用的图像、计算机和 DNN 处理功能,这些功能是为 AI ROS 机器人应用提供高性能感知的关键要素。

基于Visual SLAM的定位

当自主机器在相应环境中移动时,它们必须持续追踪自己的位置。视觉测距通过估算摄像头相对于其起始位置的距离来解决这一问题。支持立体视觉测距的 Isaac ROS GEM 为 ROS 开发者提供了这一强大功能。

此 GEM 使实时立体摄像头视觉测距解决方案具备高准确度。可在此处参考基于广泛使用的 KITTI 数据库的公开可用结果。此 GPU 加速软件包不仅具备高准确度,运行速度也非常快。事实上,SLAM 现在可在 Jetson Xavier AGX 上以高清分辨率(1280 x 720)实时(60 fps 以上)运行。

3D场景重建– nvblox(预览)

仅仅明确机器人的位置还不足以在复杂的环境中实现安全导航。机器人还必须能够自己发现障碍物。nvblox(预览)使用 RGB-D 数据来创建机器人所在环境的密集 3D 显示。其中包括不可预见的障碍物,如果不进行实时观察,可能会对机器人造成危险。而此数据有助于为导航堆栈生成时间成本图。

DNN 推理过程

DNN 推理 GEM 是一组 ROS2 软件包,允许开发人员使用 NGC 上可用的 NVIDIA 众多推理模型中的任何一种,甚至可以提供自己的 DNN。利用 NVIDIA TAO 工具套件,开发者可以进一步调整预训练模型或优化自己的模型。

优化后,这些软件包将通过 NVIDIA 的推理服务器 TensorRT 或 Triton 进行部署。借助利用 TensorRT(NVIDIA 的高性能推理 SDK)的节点实现出色的推理性能。如果 TensorRT 不支持所需的 DNN 模型,则可以使用 Triton 来部署模型。

整合模型支持的其他 GEM 现已推出,并支持 U-Net 和 DOPE 。基于 TensorRT 的 U-Net 软件包可用来从图像中生成语义分割遮罩。DOPE 软件包可用于对所有检测到的目标进行 3D 姿态估计。

该工具是在 ROS 应用程序中加入高性能 AI 推理的最快方法。下图为预训练模型 PeopleSemSegNet,运行速度为 25fps @544p

摄像头/ 图像处理

在典型的机器人图像处理流程中,须先处理通过摄像头传感器获得的原始数据,然后再将其传递给 DNN 或用于感知处理的经典计算机视觉模组。此图像处理过程包括镜头失真校正(LDC)、图像调整和图像格式转换等。如果需要用到立体摄像头,则还需要估计差异。图像处理 GEM 旨在利用 Jetson 上的专用计算机视觉硬件,例如 GPU、VIC(视频和图像合成器)和 PVA(可编程的视觉加速器)。

针对使用 CSI 接口连接摄像头的机器人,NVIDIA 提供硬件加速的 Argus 软件包。

审核编辑:汤梓红

  • NVIDIA
    +关注

    关注

    14

    文章

    2797

    浏览量

    95499
  • 软件包
    +关注

    关注

    0

    文章

    43

    浏览量

    9823
  • ROS
    ROS
    +关注

    关注

    0

    文章

    71

    浏览量

    14028
收藏 人收藏

    评论

    相关推荐

    AI走向何方?我们在GTC 2022看到了这些趋势

    能被称作科技“春晚”的大会不多,GTC算是其中公认一个。不仅大量游戏爱好者为之吸引,更有更多观众奔着....
    的头像 脑极体 发表于 09-23 19:23 265次 阅读

    NVIDIA Isaac Sim机器人仿真平台上云

    新 Omniverse Cloud 平台上的 Isaac Sim 使虚拟机器人的测试和训练更容易实现....
    发表于 09-23 11:37 71次 阅读

    NVIDIA宣布推出第二代NVIDIA OVX,支持端口200G网络速率

    全新 NVIDIA OVX 系统旨在助力运用领先的 3D 软件来构建 3D 虚拟世界,并且支持在 N....
    发表于 09-23 11:36 92次 阅读

    NVIDIA助力DSD构建铁路网的数字孪生

    德国的国家基础设施管理者正在设计采用 AI 技术的数字孪生,以开发未来的铁路系统。
    的头像 NVIDIA英伟达企业解决方案 发表于 09-23 11:35 208次 阅读

    英伟达发布全新汽车芯片Thor 于2025年量产装车

      据消息,9月20日在英伟达2022年秋季GTC大会上,公司创始人黄仁勋发布中央计算芯片DRIVE....
    的头像 科技快讯 发表于 09-22 16:02 118次 阅读

    英伟达NVIDIA为何可以在高性能计算GPU中处于不败地位?

    英伟达 | GTC2022 | 高性能计算 NVIDIA | RTX4090 | 液冷服务器 在东数....
    的头像 GPU视觉识别 发表于 09-22 10:59 121次 阅读
    英伟达NVIDIA为何可以在高性能计算GPU中处于不败地位?

    NVIDIA Ada Lovelace架构的NVIDIA RTX 6000工作站GPU

    RTX 6000 专为神经图形和先进的虚拟世界模拟而设计,其具有 Ada 架构赋能的 AI 技术和可....
    的头像 丽台科技 发表于 09-22 10:48 237次 阅读

    NVIDIA第二代 NVIDIA OVX为全球用户带来更强大的性能

    技嘉科技、新华三、浪潮、联想、广达和超微将提供 OVX 系统;宝马集团和捷豹路虎将成为 OVX 系统....
    的头像 NVIDIA英伟达 发表于 09-22 10:46 94次 阅读

    NVIDIA即将推出首批基于开创性 NVIDIA Hopper 架构的产品和服务

    NVIDIA 于今日宣布 NVIDIA H100 Tensor Core GPU 全面投产,NVID....
    的头像 NVIDIA英伟达 发表于 09-22 10:45 156次 阅读

    NVIDIA推出首款软件加基础设施即服务产品

    NVIDIA 首个软件即服务(SaaS)产品包括 Omniverse Cloud Nucleus、D....
    的头像 NVIDIA英伟达 发表于 09-22 10:43 71次 阅读

    NVIDIA NeMo最新语言模型服务帮助开发者定制大规模语言模型

    NVIDIA NeMo 大型语言模型(LLM)服务帮助开发者定制大规模语言模型;NVIDIA Bio....
    发表于 09-22 10:42 55次 阅读

    NVIDIA为Terra云平台提供快速分析海量医疗数据所需的AI和加速工具

    NVIDIA 于今日宣布与麻省理工学院和哈佛大学旗下的博德研究所(The Broad Institu....
    的头像 NVIDIA英伟达 发表于 09-22 10:40 204次 阅读

    NVIDIA发布新一代GeForce RTX GPU

    GTC揭开序幕,黄仁勋发布了自然语言理解、元宇宙、游戏和AI技术的最新进展,并介绍了这些成果如何影响....
    的头像 NVIDIA英伟达 发表于 09-22 10:38 150次 阅读

    NVIDIA发布 GeForce RTX 40 系列 GPU

    NVIDIA 发布 GeForce RTX 40 系列 GPU,旨在为游戏玩家和创作者提供革命性性能....
    的头像 NVIDIA英伟达 发表于 09-22 10:38 86次 阅读

    NVIDIA 发布AI 驱动的性能倍增器NVIDIA DLSS 3

    NVIDIA 发布 NVIDIA DLSS 3--一款由 AI 驱动的性能倍增器,开启 NVIDIA....
    的头像 NVIDIA英伟达 发表于 09-22 10:36 99次 阅读

    NVIDIA RTX 6000工作站GPU将为企业工作流带来性能提升

    RTX 6000 GPU 将为企业工作流带来 2-4 倍的性能提升;全球厂商将于第四季度开始发货。
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:06 123次 阅读

    NVIDIA携手合作伙伴提供AI赋能的、GPU加速的网络安全平台

    两家公司通过所提供的服务和 NVIDIA AI 加速网络安全平台,助力企业分析海量数据,更快查明威胁....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:03 103次 阅读

    全新混合云NVIDIA应用服务于各种行业用例

    两家公司扩大合作范围,将帮助全球企业轻松构建和运行先进的 AI 与元宇宙服务,包括物联网边缘 AI、....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:02 105次 阅读

    Nvidia发布最新的高级自动驾驶中央计算引擎Drive Thor

    Nvidia的Danny Shapiro(车载业务VP)表示,Thor将通过一个简化的集中式计算架构....
    的头像 倩倩 发表于 09-22 09:59 102次 阅读

    NVIDIA助力轻舟智航发布新一代车规级前装量产自动驾驶解决方案

    近日,世界前沿的无人驾驶通用解决方案公司轻舟智航(QCraft)宣布推出搭载 NVIDIA DRIV....
    发表于 09-22 09:58 67次 阅读

    NVIDIA助力小鹏汽车最新旗舰车型上市

    今日,小鹏汽车最新旗舰车型——超快充全智能 SUV G9 在中国正式上市并将于第四季度向用户交付。作....
    发表于 09-22 09:56 67次 阅读

    NVIDIA推出全新Jetson Orin Nano系统级模组

    NVIDIA 推出全新Jetson Orin Nano 系统级模组,扩充了NVIDIA Jetson....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 09:54 107次 阅读

    NVIDIA IGX平台将推进制造、物流和医疗行业的人机协同

    NVIDIA 推出用于高精度边缘 AI 的NVIDIA IGX 平台,为制造、物流和医疗等行业带来了....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 09:52 87次 阅读

    NVIDIA 推出大型语言模型云服务以推进 AI 和数字生物学的发展

    NVIDIA NeMo 大型语言模型(LLM)服务帮助开发者定制大规模语言模型;NVIDIA Bio....
    发表于 09-21 15:24 128次 阅读
    NVIDIA 推出大型语言模型云服务以推进 AI 和数字生物学的发展

    NVIDIA推出全新Jetson Orin Nano模组支持各种边缘AI和机器人应用

    据Deepu Talla介绍,Orin Nano通过高速I/O和NVIDIA Ampere架构GPU....
    的头像 电子发烧友网 发表于 09-21 15:21 480次 阅读

    NVIDIA Omniverse 3D 模拟推动艺术创作或设计流程

    Vanessa Rosa 的艺术创作融合了传统和现代技术,超越了时间限制,为古老的故事注入新的生命并....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-20 16:28 110次 阅读

    NVIDIA GeForce NOW 的工作原理

    API 综合套装,包含高性能工具、样本和文档,适用于 Windows 和 Linux 的硬件加速型视....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-20 10:06 84次 阅读

    基于ROS 2的安全认证软件框架

    形势-汽车工业正在转向集中的硬件架构。
    的头像 科技大小事 发表于 09-19 11:16 694次 阅读

    NVIDIA Clara有助于加速典型成像工作流的发展

    现在,GPU 几乎已渗透到所有影像诊断方式中(包括 CT、MRI、X 光和超声波),这为边缘设备提供....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-16 09:42 613次 阅读

    用于医学影像领域的NVIDIA Clara

    现在,GPU 几乎已渗透到所有影像诊断方式中(包括 CT、MRI、X 光和超声波),这为边缘设备提供....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-16 09:39 106次 阅读

    元宇宙为工业企业的数字化转型带来新机遇

    3D 图形和人工智能(AI)领域的新突破为下一代计算平台——元宇宙奠定了基础。
    的头像 NVIDIA英伟达 发表于 09-16 09:36 119次 阅读

    NVIDIA DRIVE AGX Orin开发套件的优势

    自动驾驶汽车开发商现在可以使用灵活、可扩展和高性能的硬件和软件来构建更安全、更高效的下一代交通工具。
    的头像 NVIDIA英伟达企业解决方案 发表于 09-15 09:24 120次 阅读

    GTC22看点 利用GPU加速提高性能降低成本

    GTC 大会汇集了开发者、研究人员、企业领袖、创作者、IT 决策者和学生,他们在这里了解如何利用 A....
    的头像 NVIDIA英伟达 发表于 09-14 17:38 423次 阅读

    NVIDIA DRIVE Hyperion 9 自动驾驶平台精彩问答分享

    NVIDIA给大家带来了知乎精彩问答甄选系列,将为您精选知乎上有关 NVIDIA 产品的精彩问答。先....
    发表于 09-14 17:03 51次 阅读

    NVIDIA AI解决更多挑战 从建造全新的世界到保护我们的地球

    NVIDIA 率先采用加速计算应对原本无法解决的挑战。在 AI 和计算机图形领域,我们的研究成果正在....
    的头像 NVIDIA英伟达 发表于 09-14 16:56 243次 阅读

    NVIDIA AI从创造基因测序记录到实时语音翻译

    NVIDIA 率先采用加速计算应对原本无法解决的挑战。在 AI 和计算机图形领域,我们的研究成果正在....
    发表于 09-14 16:27 200次 阅读

    2022秋季NVIDIA DPU 中国虚拟黑客松开放报名中

    继第一届 DPU 中国虚拟黑客松(Hackathon)竞赛在 2022 年 4 月 16 日至 17....
    的头像 NVIDIA英伟达 发表于 09-14 15:49 153次 阅读

    GTC22亮点:工业元宇宙的未来与机遇

    GTC 大会汇集了开发者、研究人员、企业领袖、创作者、IT 决策者和学生,他们在这里了解如何利用 A....
    的头像 NVIDIA英伟达 发表于 09-14 15:26 131次 阅读

    NVIDIA OptiX光线追踪引擎的功能特性

    NVIDIA OptiX 光线追踪引擎用于在 GPU 上实现出色光线追踪性能的应用框架,提供简单、递....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-14 09:37 174次 阅读

    NVIDIA H100 Tensor Core GPU性能比上一代GPU高出4.5 倍

    在行业标准 AI 推理测试中,NVIDIA H100 GPU 创造多项世界纪录、A100 GPU 在....
    的头像 NVIDIA英伟达 发表于 09-13 15:29 682次 阅读

    NVIDIA AI技术帮助企业预测和管理灾害成本

    Masterful AI 正在使用 NVIDIA 技术帮助企业预测和管理灾害成本。
    发表于 09-13 15:25 44次 阅读

    NVIDIA Optical Flow SDK 功能特性

    Optical Flow SDK 展示了 Turing GPU 和 Ampere GPU 的最新硬件....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-13 15:21 186次 阅读

    美国或扩大对中国出口芯片限制

      据消息人士称,拜登政府计划下个月扩大对美国公司向中国出口人工智能芯片和芯片制造设备的限制。美国商....
    的头像 科技快讯 发表于 09-13 11:47 767次 阅读

    NVIDIA 如何实现元宇宙

    NVIDIA 凭借 NVIDIA Omniverse 荣获 2022 年世界人工智能大会人工智能领域....
    的头像 NVIDIA英伟达 发表于 09-09 10:01 743次 阅读

    蚂蚁链AIoT团队与NVIDIA合作加速AI推理

    蚂蚁链 AIoT 团队与 NVIDIA 合作,将量化感知训练(QAT)技术应用于深度学习模型性能优化....
    的头像 NVIDIA英伟达 发表于 09-09 09:53 218次 阅读

    使用NVIDIA Omniverse构建数字孪生

    元宇宙代表着下一代互联网。元宇宙的先行者——3D 创作者、开发者和企业正迫切地希望使用能够重新定义无....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-09 09:51 107次 阅读

    Merlin HugeCTR HPS用于加速 NVIDIA GPU 上大规模嵌入的推理

    如今,推荐系统被广泛用于个性化用户体验,并在电子商务、社交媒体和新闻源等各种环境中提高客户参与度。因....
    的头像 NVIDIA英伟达 发表于 09-08 10:13 143次 阅读

    经纬恒润INTEWORK-EAS-AP助力自动驾驶发展

    2022年7月,经纬恒润自主研发的AUTOSAR Adaptive Platform产品(INTEW....
    发表于 09-07 17:31 124次 阅读

    凝思软件发布基于openEuler的凝思安全操作系统V6.0.99

    北京凝思软件股份有限公司(简称:凝思软件)积极参与欧拉开源社区工作,近日发布基于 openEuler....
    的头像 openEuler 发表于 09-07 11:34 209次 阅读

    Omniverse ACE的主要优势

    借助丰富的软件工具和 API 来构建逼真的虚拟形象,包括用于开发语音 AI 应用的 NVIDIA R....
    的头像 丽台科技 发表于 09-07 11:08 169次 阅读

    分享一份RK3308开发板ROS使用手册指南

    1、ROS使用指南 ROS ( Robot Operating System, 机器人操作系统) ,提供一系列程序库和工具以帮助软件开发者创建机器人...
    发表于 08-16 18:04 1573次 阅读

    请问大神rk3399pro能否支持ROS呢

    请问大神rk3399pro能否支持ROS呢?rk3399pro当前的操作系统能否支持ROS?求解答 ...
    发表于 07-28 15:44 1461次 阅读

    基于无线wifi网络的X3派和PC虚拟机通过ROS2实现跨设备通信

    1、X3派和PC虚拟机都连接无线wifi网络的情况下通过ROS2实现跨设备通信 多机通信是ROS的基础能力之一,相比于ROS1,...
    发表于 07-13 15:13 3989次 阅读

    华秋第八届硬创大赛携手NVIDIA初创加速计划,赋能企业发展

    中国硬件创新创客大赛始于2015年,由深圳华秋电子有限公司主办,至今已经成功举办七届,赛事范围覆盖华南、华东、华北三大地...
    发表于 07-11 11:28 4431次 阅读

    在FirePrime开发板上编译安装ROS jade

      先简单介绍一下ROS吧。参考ROS百度百科,ROS即机器人操作系统,但并不是一个真正的操作系统,是一个机器人软件平台...
    发表于 07-07 11:21 1778次 阅读

    在Arduino上创建一个Hello World程序

    我们将以在我们的Arduino上创建一个“Hello World”程序来开始我们的rosserial探索之旅。通过选择Arduino examples菜单的ros...
    发表于 07-07 11:01 2016次 阅读

    怎样通过ROS Arduino程序去点亮LED灯呢

    我们在之前的教程中已经创建了一个ROS发布者,在这里我们将创建一个订阅者,在Arduino每次收到消息的时候闪烁LED。通过在...
    发表于 07-07 10:43 1730次 阅读

    怎样通过Arduino IDE直接使用ROS提供的一些特性呢

    Arduino和ROS分别是非常好的开源硬件和软件。之前已经在FirePrime上安装了Arduino IDE和ROS,现在可以使用rosseria...
    发表于 07-06 11:49 1640次 阅读

    为什么ENV找不到U8G2的软件包?如何处理呢?

    为什么我的ENV找不到U8G2的软件包呢,就是没有给,然后那个SSD1306的代码却不能用,这个OLED是点不亮了 ...
    发表于 06-16 09:25 869次 阅读

    RTThread的软件包下载目录是否可以更改?

    如图:RTT的软件包下载目录目前是在工程目录下,请教一下这个目录是否可以更改(目的是为了多个工程共用) ...
    发表于 06-01 11:22 1056次 阅读