0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Omniverse Replicator 将更高效的自动驾驶技术应用于道路

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2021-12-15 15:15 次阅读

基于物理性质的传感器仿真提供有针对性的方法以解决现实世界中的数据挑战。

现实与仿真之间的差距越来越小。

NVIDIA 创始人兼首席执行官黄仁勋在 GTC 大会主题演讲中宣布推出 NVIDIA Omniverse Replicator ,这是一种生成具有正确标注的合成数据的引擎,用于训练 AI 网络。在演示中,黄仁勋先生展示了 Omniverse Replicator 在使用 DRIVE Sim 开发自动驾驶汽车时所展示出的强大性能。

DRIVE Sim 是一种基于 Omniverse 构建的仿真工具,它可以利用平台的许多功能。DRIVE Sim 生成的数据用于训练构成自动驾驶汽车感知系统的深度神经网络。对于 NVIDIA DRIVE 团队而言,合成数据已成为其自动驾驶汽车开发工作流程中一个有效且关键的组成部分。

为自动驾驶汽车的感知提供支持的深度神经网络由两个部分组成:算法模型和用于训练该模型的数据。工程师花费大量时间在算法改进上。但是,由于现实世界如数据收集不全、耗时且成本高昂的限制,因此作为该深度神经网络另一方的数据方面仍然不够完善。

这种不平衡往往导致 DNN 开发停滞不前,阻碍数据收集进展而使之无法满足模型需求。通过合成数据生成工具,开发者可以更好地控制数据开发,适应模型的特殊需求。

虽然现实世界数据是自动驾驶汽车训练、测试和验证的关键组成部分,但它仍带来了重大挑战。用于训练这些网络的数据由车队上的传感器在车辆实际行驶过程中收集。数据一经捕获,必须标记有正确的标注。标记数据工作由成千上万名标记员手动完成 – 这个过程既费时又成本高昂,而且可能不准确。

通过合成数据增强现实世界的数据采集,可以消除这些瓶颈问题,同时使工程师能够针对 DNN 开发采取数据驱动型方法,显著加快自动驾驶汽车开发并改进现实世界中的结果。

仿真到真实的域差距问题

合成数据生成是一种用于 AI 训练的知名工具 – 研究人员早在 2016 年就一直在电子游戏(如“侠盗飞车 ( Grand Theft Auto )”)上做试验,以创建数据。

然而,与电子游戏不同,感知 DNN 的质量受到数据与现实世界之间保真度的严重影响,对数据集的训练若不转换到现实世界,则实际上可能会降低网络的性能。

这种仿真到现实的差距主要表现在两个方面。外观差距对应于仿真图像和真实图像之间的像素级差异,这是由模拟器生成数据的方式引起的。渲染器、传感器模型、 3D 资产的保真度和材料属性都可能会导致出现这种差距。

内容差距可能是由于缺乏现实世界的内容多样性以及仿真和现实世界背景之间的差异造成的。当一个场景的背景与现实不匹配时,就会出现这些不一致情况。例如,现实世界中包含脏乱的道路、凹损的汽车和路边的紧急救援车辆,所有这些都必须在仿真中重现。另一个重要因素是行为者(如交通和行人)的行为 – 现实的交互是现实数据输出的关键所在。

应用 Omniverse Replicator 以缩小仿真到真实的域差距

Omniverse Replicator 旨在缩小外观和内容差距。

为了缩小外观差距,DRIVE Sim 利用 Omniverse 的 RTX 路径跟踪渲染器 为摄像机、雷达、激光雷达和超声传感器生成基于物理性质的传感器数据。传感器数据中包含了现实世界的效果,包括 LED 闪烁、动态模糊、滚动快门、激光雷达束发散和多普勒效应等现象。这些详细信息甚至包括高保真车辆动态,这一点很重要,如车辆在激光雷达扫描过程中的运动会影响产生的激光点云。

此传感器方程的另一端便是材料。DRIVE Sim 中的材料经过物理模拟,可获得精确的光束反射。DRIVE Sim 包括一个内置的激光雷达材料库和一个即将建成的雷达和超声波材料库。

DRIVE Sim 的传感器功能包括路径追踪摄像头、雷达和激光雷达模型,可捕获现实世界的效果,如动态模糊、LED 闪烁、滚动快门和多普勒效应。

DRIVE Sim 使用 RTX 路径跟踪器以高保真度呈现这些清晨和夜间场景

解决内容差距的主要方法之一是在高保真度下拥有更多样化的资产。DRIVE Sim 利用 Omniverse 的功能连接到各种内容创建工具。但是,生成适当的场景也要求背景正确无误。

接下来,Omniverse Replicator 使用称为域随机化的功能组织数据以执行快速场景操作。DRIVE Sim 包括用于此功能和场景构建的工具,这些工具在维护现实世界背景的同时创建大量不同的数据。由于 Omniverse Replicator 还具有时间准确性和确定性,数据集可以可重复的方式创建。

DRIVE Sim 提供合适工具以可控且可重复的方式生成随机场景,从而为生成的数据添加多样性和多元性。

丰硕成果

通过 NVIDIA 的合成数据,DRIVE Sim 在加速感知开发方面已经取得了显著成果。

一个示例是迁移到新的 NVIDIA DRIVE Hyperion 传感器集。NVIDIA DRIVE Hyperion 8 平台包括用于完整生产自动驾驶汽车开发的传感器。然而,在这些传感器可用之前,NVIDIA DRIVE 团队能够使用合成数据为平台提供 DNN。DRIVE Sim 生成了数百万张图像和真值数据用于训练。因此,一旦安装传感器,网络便已准备好部署,从而节省了长达数月的宝贵开发时间。

在另一种情况下,用于检测可驾驶车道空间的 PathNet DNN 在车辆未处于车道中心时难以确定路径。收集此类数据很困难,因为车辆部分驶出车道非常危险(而且违反了 NVIDIA 的数据采集策略)。通过基于数百万条驶离车道中心行驶路径的合成图像对网络进行训练,DRIVE Sim 显著提高了 PathNet 的准确性。

用于检测交通灯的 LightNet 和用于检测和分类路标的 SignNet 也是如此。由于缺乏数据,这些网络很难从极度角识别交通灯,并在某些条件下对路标进行错误分类。工程师能够设计数据来增强现实世界的数据集并提高性能。

通过对这两个 DNN 进行涵盖这些问题领域的合成数据训练,性能得到迅速提高,消除了开发过程中的瓶颈问题。

看到人类肉眼所不能看到的事物

合成数据改变了 DNN 开发的本质。它具有时间效益和成本效益,为工程师们提供了按需生成定制数据集的自由。

开发者可以指定天气、照明、行人、道路碎石等元素。他们还可以控制元素的分布,例如在给定数据集中指定卡车、公共汽车、汽车和摩托车的特定组合。

合成数据提供了人类无法标记的正确的标注。例如深度信息、速度和多传感器追踪。这种正确的标注信息可以显著增强感知性能。

它还有助于标记难以标记(有时是不可能实现)的组件。例如,对于在汽车后方行走的行人,如果被遮挡,人们将无法正确对其贴标。但是,通过模拟,即使人们看不到信息,正确的标注仍自动可用且具有像素级准确性。

合成数据的一个关键特点是精确的真值标签,用于现实世界中很困难或不可能实现的场景,如在汽车驶过时行人被遮挡的场景。

清理前方道路

作为合成数据生成工具的模块化、开放且可扩展的平台,Omniverse Replicator 为深度学习工程师带来了强大的新功能。而 DRIVE Sim 则使用这些新功能为自动驾驶汽车开发者提供模拟测试中的终极灵活性和效率,以便工程师创建所需的数据集以加快工作进程。

其结果是 DNN 更准确,开发时间缩短,快速将更安全、更高效的自动驾驶技术应用于道路。

原文标题:用于 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自动驾驶汽车开发并提高感知结果

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

审核编辑:彭菁
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 传感器
    +关注

    关注

    2515

    文章

    47698

    浏览量

    738695
  • NVIDIA
    +关注

    关注

    14

    文章

    4542

    浏览量

    101482
  • 自动驾驶
    +关注

    关注

    773

    文章

    12900

    浏览量

    162931

原文标题:用于 DRIVE Sim 的 NVIDIA Omniverse Replicator 可加速自动驾驶汽车开发并提高感知结果

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    NVIDIA和昊铂宣布双方将合作量产L4级自动驾驶汽车

    北京时间3月19日,在NVIDIA GTC大会上,NVIDIA和昊铂宣布双方将合作量产L4级自动驾驶汽车。
    的头像 发表于 03-20 15:06 498次阅读
    <b class='flag-5'>NVIDIA</b>和昊铂宣布双方将合作量产L4级<b class='flag-5'>自动驾驶</b>汽车

    NVIDIA Omniverse中的物理模拟功能

    NVIDIA Omniverse™ Simulation 作为 NVIDIA Omniverse™ 平台的关键组件之一,由 NVIDIA
    的头像 发表于 03-08 11:30 252次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b>中的物理模拟功能

    LabVIEW开发自动驾驶的双目测距系统

    LabVIEW开发自动驾驶的双目测距系统 随着车辆驾驶技术的不断发展,自动驾驶技术正日益成为现实。从L2级别的辅助
    发表于 12-19 18:02

    NVIDIA 招聘 | 欢迎加入自动驾驶团队,驶向智能出行的未来!

    NVIDIA 自动驾驶团队现正在热招中! 现在就加入 NVIDIA 自动驾驶团队,让我们一同驶向未来!这里不仅有挑战,更有机遇。您将与专业的同事合作,汇集
    的头像 发表于 08-18 17:45 833次阅读

    NVIDIA Omniverse让AI训练变得更加简单易用

    Rendered.ai 将 NVIDIA Omniverse Replicator 集成到其合成数据生成平台,使 AI 训练变得更加简单易用。
    的头像 发表于 07-24 09:14 801次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b>让AI训练变得更加简单易用

    自动驾驶中的点云标注:技术与应用

    自动驾驶技术中,点云标注是非常重要的一部分。点云标注是指将传感器获取的点云数据转换为具有丰富语义信息的三维标注数据,用于自动驾驶汽车的感知和决策。 在
    的头像 发表于 07-10 15:33 950次阅读

    NVIDIA 自动驾驶实验室:如何通过 AI 分割模型增强自动驾驶安全性

    编辑注:NVIDIA 自动驾驶实验室系列视频,将以工程技术为重点的视角关注实现自动驾驶汽车的各个挑战以及 NVIDIA DRIVE AV 软
    的头像 发表于 06-16 11:45 432次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>自动驾驶</b>实验室:如何通过 AI 分割模型增强<b class='flag-5'>自动驾驶</b>安全性

    高精自动驾驶中的地图匹配定位技术

    定位几大类。其中地图匹配定位技术利 用道路物理信息与预制高精度地图,实现实时的自动驾驶定位。在卫星定位、惯性导航系统出现明显误差时,地图匹配定位技 术可为自动驾驶系统提供实时定位修
    发表于 06-07 10:31 0次下载
    高精<b class='flag-5'>自动驾驶</b>中的地图匹配定位<b class='flag-5'>技术</b>

    自动驾驶技术体系及相关术语

    一、自动驾驶技术体系 目前可预见的一种自动驾驶解决方案就是:通过GPS等地图定位技术自动驾驶汽车进行全局路径规划,首先找到一条从出发地到目
    发表于 06-02 15:55 0次下载
    <b class='flag-5'>自动驾驶</b><b class='flag-5'>技术</b>体系及相关术语

    自动驾驶技术概述

    自动驾驶汽车,通过技术实现车辆自动驾驶,目的是减少驾驶疲劳、增强驾驶安全。 自动驾驶汽车按
    发表于 06-01 14:50 0次下载
    <b class='flag-5'>自动驾驶</b><b class='flag-5'>技术</b>概述

    自动驾驶开发平台

    2017年9月,在NVIDIAGPU技术大会中国站上,NVIDIA发布了开放式自动驾驶平台NVIDIADRIVE,并表示 将为合作伙伴提供从底层运算、操作系统层、软件算法层及应用层在内的全套可定制
    发表于 06-01 11:31 0次下载
    <b class='flag-5'>自动驾驶</b>开发平台

    智能激光雷达企业RoboSense入驻NVIDIA Omniverse生态系统

    NVIDIA总经理Zvi Greenstein表示:“NVIDIA Omniverse是一个容纳全球领先制造商激光雷达模型的开放平台。RoboSense速腾聚创卓越的技术实力和庞大的客
    的头像 发表于 05-25 16:38 729次阅读
    智能激光雷达企业RoboSense入驻<b class='flag-5'>NVIDIA</b> <b class='flag-5'>Omniverse</b>生态系统

    携手英伟达,RoboSense速腾聚创正式入驻NVIDIA Omniverse生态系统

    #RoboSense 与#英伟达 强强联手,"第二代智能固态激光雷达+Orin芯片"智驾方案,结合强大的NVIDIA Omniverse生态系统,高效驱动智能驾驶规模化应用,共推全球汽
    的头像 发表于 05-22 10:37 302次阅读

    自动驾驶公开课:自动驾驶开发中的先进基础架构及数据合成仿真实践

    开发等阶段,以推动交通运输行业的变革性发展。 本文将为大家介绍可用于自动驾驶开发的  NVIDIA Omniverse  和  NVIDIA
    的头像 发表于 04-12 00:55 343次阅读

    自动驾驶资讯集锦:GTC 最新发布及汽车数字工厂精彩视频!

    在 2023 年 3 月 20 日 - 2023 年 3 月 23 日举行的 GTC 大会上,NVIDIA 分享了在加速计算、AI 和工业元宇宙技术突破的浪潮下,NVIDIA DRIVE 自动
    的头像 发表于 04-07 02:30 536次阅读