0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

基于NVIDIA Jetson的机器人面临的结果、系统和挑战

星星科技指导员 来源:NVIDIA 作者:Mitesh Patel 2022-04-13 09:14 次阅读

进行高精度的实时推理是一项具有挑战性的任务,尤其是在能见度较低的环境中。借助 NVIDIA Jetson 嵌入式平台,最近结束的国防高级研究计划局( DARPA )地下挑战赛( SubT )团队能够以高精度和高吞吐量检测感兴趣的物体。在这篇文章中,我们将介绍在系统竞赛的最后一站中团队所面临的结果、系统和挑战。

SubT 挑战赛是由 DARPA 组织和协调的国际机器人竞赛。该竞赛鼓励研究人员为机器人开发新的方法来绘制、导航和搜索环境,这些环境会带来各种挑战,例如能见度低、存在危险、地图未知或通信基础设施差。

2019 冠状病毒疾病包括三个初步的电路事件:隧道电路、城市电路和洞穴电路(由于 COVID-19 大流行而取消),以及最终的综合挑战课程。每个赛道和决赛都在不同的环境和不同的地形中举行。据活动组织者介绍,比赛在 3 个不同的阶段举行, 2021 九月在 KY 。路易斯维尔举行了最后一场比赛。

SubT Challenge 的竞争对手利用 NVIDIA 技术满足其硬件和软件需求。团队使用桌面/服务器 GPU 来训练使用 NVIDIA Jetson 嵌入式平台部署在机器人上的模型,以实时检测感兴趣的工件和对象,这是确定获胜团队的主要标准。七分之五的竞争对手也使用 Jetson 平台进行实时目标检测。

次级挑战

SubT 挑战的灵感来自于第一响应者在搜索救援行动或灾难响应期间面临的真实场景。

通过本次比赛开发的最先进的方法将有助于降低搜索救援人员和急救人员在探索未知地下环境时的伤亡风险。此外,自动机器人将协助工作人员探索环境,寻找幸存者、感兴趣的物体,并进入对人类有风险的地点。

图 1 。 DARPA 地下挑战探索了绘制、导航和搜索复杂地下环境的创新方法和新技术。 – 图片由 DARPA 提供 。

技术挑战

这场比赛包含了各种技术挑战,比如应对一些机器人可能无法轻松操纵的未知、无结构和不平的地形。

这些环境通常没有任何与中央司令部通信的基础设施。从感知角度来看,这些环境的可见度很低,机器人必须找到感兴趣的工件和物体。

竞争团队的任务是通过开发新型传感器融合方法,以及开发新的或修改现有机器人平台来应对这些挑战,这些平台具有不同的定位和检测感兴趣对象的能力。

CERBERUS 团队

CERBERUS 团队(用于地下环境中自主探索的协作步行和飞行机器人)是世界各地多所大学和工业组织的联合财团。

该团队与四个名为 ANYmal 的四足机器人、五个主要由内部制造、具有可变大小和有效载荷能力的无人机,以及一个超级巨型机器人形式的漫游机器人一起参加了比赛。在比赛决赛中,该团队最终使用了四个 ANYmal 机器人和超级巨型机器人进行探索和人工制品检测。

每个 ANYmal 机器人都配备了两台基于 CPU 的计算机和一台 NVIDIA Jetson AGX Xavier 。漫游者机器人配备了 NVIDIA GTX 1070 GPU 。

CERBERUS 团队使用改进版的 You Only Look One ( YOLO )模型进行目标检测。该模型使用两个 NVIDIA RTX 3090 GPU 在 40000 个标记图像上进行训练。

在部署到 Jetson 上进行实时推理之前,使用 TensorRT 对训练后的模型进行了进一步优化。 Jetson AGX Xavier 能够以 20 赫兹的集体频率进行推理。在比赛总决赛中, CERBERUS 团队率先发现了环境中 40 件文物中的 23 件,夺得了第一名。

CERBERUS 团队还使用 GPU 绘制地形高程图,并训练 ANYmal 四足机器人的移动策略控制器。使用 Jetson AGX Xavier 实时绘制高程图。 ANYmal 机器人在崎岖地形下的移动策略训练是使用桌面 GPU 离线完成的。

团队联袂主演

在南加利福尼亚州 NASA 喷气推进实验室( JPL )的研究人员以及其他大学和工业合作者的带领下,团队合作地下自主机器人( Co STAR )在 2020 年的比赛中获胜,该比赛专注于探索复杂的地下城市环境。

他们还成功地参加了 2021 届混合人工和自然环境的比赛,排名第五。联袂主演的团队带着四个位置、四个哈士奇机器人和两架无人机参加了比赛。

在最后一轮中,由于意外的硬件问题,团队最终使用了一个 Spot 和三个哈士奇机器人。每个机器人都配备了一台基于 CPU 的计算机以及一台 NVIDIA Jetson AGX Xavier 。

在目标检测方面,该团队使用 RGB 和热图像。他们使用 YOLO v5 模型的中型变体来处理高分辨率图像以进行实时推断。该团队训练了两种不同的模型,对捕获的 RGB 和热图像进行推理。

基于图像的模型使用约 54000 个标记帧进行训练,而热图像模型使用约 2400 个标记图像进行训练。为了训练模型在他们的定制数据集上,团队 Co Star 使用了在 COCO 数据集上的预训练的 YOLO V5 模型,并使用NVIDIA 传输学习工具包(称为 TAO 工具包)进行传输学习。

使用两个内部部署的 NVIDIA A100 GPU 和一个由八个 V100 GPU 组成的 AWS 实例对模型进行训练。在 Jetson AGX Xavier 上部署模型之前,团队使用 TensorRT 修剪模型。

使用这种设置,团队合作星能够在 28 赫兹的频率下对五台 RealSense 相机接收到的 RGB 图像和一台热敏相机接收到的图像进行推断。在最后一次运行中,机器人能够检测到指定区域中存在的所有 13 个工件。由于部署现场意外的硬件问题导致部署延迟,因此勘探时间有限。

配备 NVIDIA Jetson 平台和NVIDIA GPU 硬件,在 DARPA SUT 事件中竞争的团队能够有效地训练模型以进行实时推理,解决地下环境所带来的挑战与精确的目标检测。

关于作者

Mitesh Patel 是 NVIDIA 的开发者关系经理,他与高等教育研究人员合作,使用 NVIDIA SDK 和平台执行他们的想法。在加入NVIDIA 之前,他是富士施乐帕洛阿尔托实验室有限公司的高级研究科学家,致力于开发室内本地化技术,用于医院的资产跟踪和制造设施的送货车跟踪等应用。 Mitesh 于 2014 在澳大利亚悉尼科技大学获得了来自自动系统中心( CAS )的机器人学博士学位。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    4427

    浏览量

    101417
  • gpu
    gpu
    +关注

    关注

    27

    文章

    4244

    浏览量

    126119
  • 计算机
    +关注

    关注

    19

    文章

    6544

    浏览量

    83698
收藏 人收藏

    评论

    相关推荐

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim 并创建仿真。 本 Demo 中的 Husky 机器人配备了 NVIDIA
    的头像 发表于 12-26 18:05 213次阅读
    使用 <b class='flag-5'>NVIDIA</b> Isaac 仿真并定位 Husky <b class='flag-5'>机器人</b>

    NVIDIA Jetson 的嵌入式系统AI应用

    在这个平台上可以使用多个不同的芯片 ,案例的主角是AIMobile AIM Edge Ncox,一款基于NVIDIA Jetson Orin NX的小型被动冷却嵌入式系统。该系统具有6
    发表于 12-11 17:37 220次阅读

    人形机器人面临的存储挑战

    万物互联的体系及终端出现。软件上,Matter或许有望实现互联互通,但转换思路,硬件上或许人形机器人能够帮助用户在物理上实现互联互通。   人形机器人的目标是模拟人的思考   所谓人形机器人是一种模仿人类外观和行为的
    的头像 发表于 11-21 00:17 1054次阅读

    人形机器人面临挑战有哪些方面

    机器人是一个庞大的系统,包括机械、电子、计算机等各种技术,并且都是由大量的零部件构成的,机器人的成本是非常昂贵的。而机器人的效能也是非常高的,比如工业
    发表于 11-03 15:15 320次阅读

    NVIDIA 知乎精彩问答甄选 | 查看 NVIDIA Jetson 相关精彩问答

    您了解  NVIDIA Jetson  相关内容 带 来更加精彩的解答! Q:  选用什么样的系统或平台开发机器人/机器臂? A: 随着人工
    的头像 发表于 09-14 17:40 254次阅读

    NVIDIA Jetson还能让AI驱动维修机器人

    这位边缘 AI 领域的“绝地武士”使用 NVIDIA Jetson Orin Nano 开发者套件作为机器人的大脑,让这个身高不到四英尺、眼睛只有一个简单网络摄像头的机器人能够识别物体
    的头像 发表于 08-18 15:37 631次阅读

    NVIDIA Jetson 边缘 AI 解决方案携手合作伙伴亮相 2023 世界机器人大会

    期间,奥比中光、优必选、本末科技等 7 家优秀的机器人行业企业,携基于 NVIDIA Jetson 及 Isaac Sim 相关软硬件的解决方案和多件展品亮相展会,向您展现 生态合作伙伴利用
    的头像 发表于 08-17 19:15 293次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 边缘 AI 解决方案携手合作伙伴亮相 2023 世界<b class='flag-5'>机器人</b>大会

    开发者使用 NVIDIA Jetson 让 AI 驱动维修机器人

    《星球大战》中的维修机器人(Pit Droid)。《星球大战》系列电影深受人们的喜爱,影片中的维修机器人负责修理和维护在整个系列中穿梭的飞梭赛车(Podracers)。 这位边缘 AI 领域的“绝地武士”使用 NVIDIA
    的头像 发表于 08-15 18:35 303次阅读

    京东和美团已选用NVIDIA Jetson AGX Xavier 平台

    电商巨头选用NVIDIA Jetson AGX Xavier打造下一代配送机器人 京东、美团采用NVIDIA AI计算平台,以满足大量处理需求
    的头像 发表于 08-01 14:54 478次阅读

    基于Jetson NANO的助手机器人

    电子发烧友网站提供《基于Jetson NANO的助手机器人.zip》资料免费下载
    发表于 07-06 11:27 0次下载
    基于<b class='flag-5'>Jetson</b> NANO的助手<b class='flag-5'>机器人</b>

    基于 NVIDIA Jetson 使用硬件在环设计机器人

    Hardware-in-the-Loop(硬件在环,HIL)测试是一种强大的工具,用于验证和核实 包括机器人技术和计算机视觉在内的 复杂系统的性能。本文探讨了 HIL 测试是如何通过 NVIDIA
    的头像 发表于 06-14 18:35 314次阅读
    基于 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 使用硬件在环设计<b class='flag-5'>机器人</b>

    利用 NVIDIA Jetson 将 AI 学习延展至边缘

    与开发者套件,为开发者们提供了一个小巧而强大的平台,帮助他们将机器人和边缘 AI 视觉方面的想法变为现实。该平台已成为学习和教授 AI 的完美工具。 Jetson Orin Nano 开
    的头像 发表于 06-13 20:55 305次阅读
    利用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Jetson</b> 将 AI 学习延展至边缘

    NVIDIA Jetson 助力创乐博人工智能教育机器人

    借助 NVIDIA 后端到前端全栈式开发优势, 湖南创乐博智能科技有限公司 结合机器人硬件本体,在教育机器人市场获得了较大的认可度,同时通过 NVIDIA
    的头像 发表于 04-01 01:40 555次阅读

    GTC23 | 使用 NVIDIA Jetson Orin Nano 开发套件开发 AI 机器人及智能视觉系统

    NVIDIA Jetson Orin Nano Developer Kit  为创建入门级 AI 机器人、智能无人机和智能视觉系统设定了一个新标准,同时简化了 
    的头像 发表于 03-29 03:40 923次阅读

    GTC23 | NVIDIA 扩大 Isaac 软件的接入范围并提高 Jetson 平台的可用性,加快机器人技术从云到边缘的发展

    NVIDIA 还表示全线 Jetson Orin 模组均已推出,为边缘 AI 和机器人应用带来性能上的飞跃。 NVIDIA 创始人兼首席执行官黄仁勋在 GTC 主题演讲中表示: “
    的头像 发表于 03-25 15:20 343次阅读