还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

使用Omniverse Replicator构建自定义合成数据生成管道

星星科技指导员 来源:NVIDIA 作者:NVIDIA 2022-08-15 15:53 次阅读

提供合成数据生成工具和服务的公司以及开发人员现在可以使用 Omniverse Replicator SDK 。 Omniverse Replicator SDK 构建在 NVIDIA Omniverse 平台上,在 Omniverse Code 。

Omniverse Replicator 是一个高度可扩展的 SDK ,构建在可扩展的 Omniverse 平台上,用于物理精确的 3D 合成数据生成,以加速 AI perception Network 的训练和性能。开发人员、研究人员和工程师现在可以使用 Omniverse Replicator 来引导现有的深度学习感知模型,并利用大规模真实照片合成数据提高其性能。

pYYBAGL5-_uAE3LoAAE-5nyittU423.png

图 1 :。 Replicator 使用基于 Omniverse 开放标准的平台以及 OmniGraph 和 Farm 体系结构提供的可扩展性和可伸缩性

Omniverse Replicator 为开发人员提供了一个非常出色的平台,以构建特定于其神经网络需求的合成数据生成应用程序。它建立在开放标准上,如 通用场景描述 ( USD 、 PhysX 和 材料定义语言 ( MDL ),具有易于使用的 Python API ,还具有可扩展性,支持自定义随机化器、注释器和编写器。通过基于 CUDA 的 OmniGraph 实现核心注释器功能,支持闪电般的数据生成,这意味着可以立即预览输出。与组合时 Omniverse 农场 和 SwiftStack 输出, Replicator 在云中提供了巨大的可扩展性。

Omniverse Replicator SDK 由六个主要组件组成,用于定制合成数据工作流:

语义架构编辑器: 通过对 3D 资产及其 PRIM 进行语义标记, Replicator 可以在渲染和数据生成过程中注释感兴趣的对象。语义模式编辑器提供了一种通过用户界面将这些标签应用于舞台上的 prim 的方法。

Visualizer: 这为分配给三维资源的语义标签以及二维/三维边界框、法线、深度等注释提供了可视化功能。

Randomizers: 域随机化是 Replicator 最重要的功能之一。使用随机化器,您可以创建随机化场景,从资源、材质、照明和摄影机位置以及其他随机化功能进行采样。

Omni.syntheticdata: 这提供了与 Omniverse RTX 渲染器和 OmniGraph 计算图形系统的低级集成。它还支持 Replicator 的地面真相提取注释器,将任意输出变量( AOV )从渲染器传递到注释器。

Annotators: 这些接收来自 Omni 的 AOV 和其他输出。 syntheticdata extension 为深度神经网络( DNN )训练生成精确标记注释。

Writers: 处理来自注释器的图像和其他注释,并生成 DNN 特定的数据格式以供培训。

人工智能训练中的合成数据

为感知任务训练 DNN 通常涉及从数百万张图像中手动收集数据,然后手动注释这些图像和可选的增强。

pYYBAGL5_AmAM2aRAALCe1IlbVk438.png

图 2 :。数据收集和注释任务图

手动数据收集和注释既费力又主观。大规模收集和注释真实图像,即使是简单的注释,如二维边界框,也会带来许多后勤挑战。涉及到的注释(如分段)是资源受限的,手动执行时精度要低得多。

pYYBAGL5_C6ARbPzAAWBwbchng4388.png

图 3 :。语义分割任务的复杂性

收集和注释后,数据将转换为 DNN 可用的格式,然后对 DNN 进行感知任务培训。网络架构中的超参数调整或更改是优化网络性能的典型后续步骤。对模型性能的分析可能会导致数据集中的潜在更改,但在大多数情况下,这需要另一个手动数据收集和注释周期。这种手动数据收集和注释的迭代周期是昂贵、乏味和缓慢的。

利用合成生成的数据,团队可以以经济高效的方式引导和增强大规模训练数据的生成,并提供精确的注释。此外,合成数据生成还有助于解决与长尾异常、缺乏可用培训数据和在线强化学习相关的挑战。与手动收集和注释数据不同,合成生成的数据具有较低的摊销成本,这有利于数据收集/注释和模型训练周期的典型迭代性质。

poYBAGL5_G2AFVdSAAHAioB--TE993.png

图 4 :。 Omniverse Replicator ,用于生成具有精确注释的大规模训练数据

Omniverse Replicator 通过利用 Omniverse 平台的许多核心功能和最佳实践,包括但不限于物理精确的照片级数据集和对超大数据集的访问,解决了这些挑战。

物理精确的光绘数据集要求使用 RTX 技术、基于物理的材料和物理引擎进行精确的光线跟踪和路径跟踪,所有这些都是 Omniverse 平台的核心技术。

pYYBAGL5_HaAPKSDAAN4ZqlhIUg769.png

图 5 :。使用 Omniverse Replicator 增强仓库场景中的传感器注释

基于 通用场景描述 ( USD ), Omniverse 无缝连接到其他 3D 应用程序,因此开发人员可以引入定制内容,或者编写自己的工具来生成不同的域场景。 生成这些资产通常是一个瓶颈,因为它需要跨多个 GPU 和节点进行扩展。

Omniverse Replicator 通过利用 Omniverse Farm ,允许团队一起使用多个工作站或服务器来支持渲染或合成数据生成等工作。合成数据生成工作流并非“一劳永逸”为了成功地使用合成数据训练网络,必须在真实数据集上对网络进行迭代测试。 Replicator 通过将模拟世界转换为一组可学习的参数来提供这种以数据为中心的 AI 培训。

使用 Omniverse Replicator 和 TAO Toolkit 加速现有工作流

开发人员、工程师和研究人员可以将 Omniverse Replicator 与现有工具集成 加快 AI 模型培训。例如,一旦生成了合成数据,开发人员就可以使用 NVIDIA TAO 工具包 。 TAO 工具包利用迁移学习的力量,让开发人员在没有人工智能专业知识的情况下,针对其用例培训、调整和优化模型。

poYBAGL5_IKAH-y0AACadH7jF60718.png

图 6 :用于合成数据生成和模型培训的 Omniverse Replicator 和 TAO toolkit 工作流

使用 Omniverse Replicator 构建应用程序

Kinetic Vision 是一家面向零售、内部物流、消费制造和消费包装产品等大型工业客户的系统集成商。他们正在开发基于 Omniverse Replicator SDK 将为客户提供高质量的合成数据作为一项服务。

当深度学习模型训练所需的数据不可用时, Omniverse Replicator 生成合成数据,可用于扩充有限的数据集。 闪电 AI (前身为 Grid.AI )使用 NVIDIA Omniverse 复制器根据通用场景描述( USD )生成物理上精确的 3D 数据集,可用于训练这些模型。用户可以简单地拖放 3D 资产,在生成数据集后,用户可以从最新的最先进的计算机视觉模型中进行选择,以自动对合成数据进行训练。

pYYBAGL5_IuAZWLvAAHs-Qdz9-U140.png

图 7 : Lightning AI 应用程序显示在 Replicator 生成的合成数据上训练和测试的 DNN

在 NVIDIA, ISAAC Sim DRIVE Sim 团队利用 Omniverse Replicator SDK 构建特定领域的合成生成工具,用于机器人的 ISAAC Replicator 和用于自主车辆培训的 DRIVE Replicator 。 Omniverse Replicator SDK 为开发人员提供了一组核心功能,可以利用 Omniverse 平台提供的所有优势构建任何特定于领域的合成数据生成管道。借助 Omniverse 作为 3D 模拟、渲染和 AI 开发功能的开发平台, Replicator 提供了定制的合成数据生成管道。

可利用性

这个 Omniverse Replicator SDK 现已在中提供 Omniverse Code ,可从 Omniverse 启动器下载

关于作者

Nyla Worker 是 NVIDIA 的解决方案架构师,专注于嵌入式设备的模拟和深入学习。她在机器人和自动车辆的深度学习边缘应用方面拥有丰富的经验,并为嵌入式设备开发了加速推理管道。

Bhumin Pathak 是 NVIDIA 合成数据生成 SDK (也称为 Replicator )的高级产品经理。他喜欢在计算机图形学、 3D 仿真机器学习的交叉领域工作。在加入 NVIDIA 之前,他曾在迪士尼担任人工智能的应用研究员,并在思科和三星担任其他各种职务。

审核编辑:郭婷

  • NVIDIA
    +关注

    关注

    14

    文章

    2821

    浏览量

    95810
  • AI
    AI
    +关注

    关注

    85

    文章

    20726

    浏览量

    238577
  • SDK
    SDK
    +关注

    关注

    2

    文章

    720

    浏览量

    41332
收藏 人收藏

    评论

    相关推荐

    API、SDK是什么?SDK和API的区别

    SDK 就是 Software Development Kit 的缩写,翻译过来——软件开发工具包。....
    的头像 算法与数据结构 发表于 10-04 15:35 90次 阅读

    英特尔为开发者提供AI、安全、量子计算等一站式解决方案

    英特尔为开发者提供AI、安全、量子计算等领域的一站式解决方案。 • 英特尔推出了新的服务和工具,帮助....
    的头像 英特尔中国 发表于 09-30 19:33 374次 阅读

    弱监督学习解锁医学影像洞察力

    人工智能 (AI) 通过比人类专家更快、更准确地检测和测量异常情况,从图像中进行先进的医学诊断。构建....
    的头像 观察专栏 发表于 09-30 18:04 120次 阅读
    弱监督学习解锁医学影像洞察力

    瑞萨电子推出能处理多个摄像头图像数据的全新RZ/V2MA器件

    RZ/V2MA器件配备以太网、USB和PCI Express等高速接口,允许从多个外部摄像头输入图像....
    的头像 瑞萨电子 发表于 09-30 16:43 215次 阅读

    云知声基于“双碳”目标数智园区综合管理运营平台赋能客户产业升级

    近日,“第四届上海绿色智慧建设高峰论坛”(以下简称论坛)在上海浦东星河湾国际会议中心成功举办。云知声....
    的头像 云知声 发表于 09-30 16:26 159次 阅读

    将Jetson AGX Orin开发者套件转化为任何Jetson Orin模块

    随着 Jetson Orin Nano 在本次 GTC 大会的发布,整个 Jetson Orin 模....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-30 11:03 159次 阅读

    Scikit-learn机器学习库的概念及工作原理

    作为一个适用于 Python 编程语言的机器学习 (ML) 库,Scikit-learn 拥有大量算....
    的头像 NVIDIA英伟达 发表于 09-30 11:00 213次 阅读

    华为助力大连构建人工智能产业生态

    9月,2022昇腾AI创新大赛-大连区域赛成功举办!本次大赛,面向各学校、科研院所、企事业行业科技领....
    的头像 华为计算 发表于 09-30 10:33 584次 阅读

    AI词典笔/扫描翻译笔解决方案横向评测

    君正、瑞芯微、ASR方案对比
    的头像 王展WinTECH 发表于 09-30 10:30 407次 阅读
    AI词典笔/扫描翻译笔解决方案横向评测

    东八区先生的AI公司有多离谱?

    放假倒计时,想必很多朋友已经无心工作学习,满心都是“节后再说”,所以咱们今天就放松一下,给大家分享下....
    的头像 脑极体 发表于 09-29 20:55 77次 阅读

    OpenVINO各AI模型对应不同处理器的效能

    Google于2017年制作了TeachableMachine网页版本的AI软件工具,甫一推出就受到....
    的头像 lhl545545 发表于 09-29 16:25 241次 阅读

    声智成功入选2021年度北京民营企业“中小企业百强”榜单

    9月,北京市工商联发布2021年度北京民营企业百强“1+4”榜单。声智成功入选2021年度北京民营企....
    发表于 09-29 11:47 207次 阅读

    西安未来人工智能计算中心推动人工智能产业快速演进

    AI陕耀2022昇腾AI创新大赛暨第一届“昇腾杯”秦创原人工智能开发者大赛在西安成功举办。本次大赛是....
    的头像 华为计算 发表于 09-29 10:39 367次 阅读

    人工智能反诈骗创新解决方案有效保护群众财产安全

    近日,河南信大网御科技有限公司的中原人工智能反诈骗创新解决方案与华为Atlas 800训练服务器和全....
    发表于 09-29 10:33 93次 阅读

    鱼泡网通过大数据、AI等技术在创业创新大赛全国选拔赛斩获佳绩

    9月1日至3日,第五届“中国创翼”创业创新大赛全国选拔赛在山东省青岛市成功举办。经过组委会秉承客观、....
    发表于 09-29 10:31 31次 阅读
    鱼泡网通过大数据、AI等技术在创业创新大赛全国选拔赛斩获佳绩

    FP-AI-MONITOR1简介

    FP-AI-MONITOR1是一种多传感器AI数据监控框架(基于面向STM32Cube的功能包),工....
    的头像 意法半导体中国 发表于 09-29 09:04 89次 阅读

    昇腾AI解决方案 成都天巡微小推超大规模交通数字底座方案 助力智慧交通

    基于昇腾AI基础软硬件平台,成都天巡微小卫星科技有限责任公司(以下简称:成都天巡微小)推出超大规模交....
    的头像 华为计算 发表于 09-28 19:17 426次 阅读

    纯视觉AI设置符合汽车安全等应用的选择

    今天,我们经常听到有人说自动驾驶时代即将到来,但是,真正在各种现实条件下实现的自动驾驶仍然尚需时日。
    的头像 贸泽电子 发表于 09-28 17:33 257次 阅读

    登临科技致力于与合作伙伴助力AI行业高质量发展

    近日,国内AI算力资源池化领导厂商趋动科技与登临科技联合宣布展开战略合作,双方将围绕众多行业智能化场....
    的头像 登临科技 DenglinAI 发表于 09-28 17:02 243次 阅读

    NVIDIA助力大陆集团和AEye构建高性能长距激光雷达

    大陆集团和 AEye 的长距激光雷达产品现已在 DRIVE Sim 平台中得到支持,可利用基于物理属....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-28 11:30 340次 阅读

    借助NVIDIA DRIVE IX开创智能座舱新体验

    Cerence、Smarteye、Rightware 和 DSP Concepts 等车载技术公司正....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-28 11:28 187次 阅读

    海康威视智能物联技术助力粮食仓储智慧监管

    今年的春小麦早已成熟,现在冬小麦也播下了种。海康威视助力当地农户“科技种麦”,通过与合作伙伴打造的智....
    发表于 09-28 10:40 185次 阅读

    EDA工具助力AI加速器开发 ARC AI参考设计平台发力

    大数据真的很厉害,相信很多人都感受到了,比如你刚逛完某宝开始刷某音,却发现某音给你推送了你刚刚看过的....
    发表于 09-28 09:16 225次 阅读

    大模型的禾下乘凉梦,百度自己来做试验田

    禾下乘凉梦,是一个今天国人无比熟悉的词。它来自袁隆平院士对杂交水稻高产的理想追求,是袁隆平的中国梦。....
    的头像 脑极体 发表于 09-27 21:51 262次 阅读

    AI视觉检测赋能工业制造,助力企业智造升级

    富唯智能AI视觉检测系统,拥有自主开发的深度学习模型、3D点云算法、AI测量算法,可适应大部分的检测....
    的头像 机器视觉检测 发表于 09-27 15:48 197次 阅读
    AI视觉检测赋能工业制造,助力企业智造升级

    研扬同步在GTC中宣布NVIDIA Jetson Orin Nano 边缘计算AI平台BOXER-8621AI上市

    采用NVIDIA Jetson Orin Nano系统模块的BOXER-8621AI (台北,中国台....
    的头像 大崔崔sz 发表于 09-27 11:34 238次 阅读
    研扬同步在GTC中宣布NVIDIA Jetson Orin Nano 边缘计算AI平台BOXER-8621AI上市

    如何去实现柿饼派音乐资源服务器正常播放音乐的功能呢

    1.柿饼派固件的烧录 由于柿饼派的 SDK 一直在不断完善中,为了避免因固件版本不一致影响体验效果,请直接烧录附件提供的 rbl...
    发表于 09-27 11:03 475次 阅读

    标准浮点算术处理器对AI精度的应用

    OpenAI 最先进的语言模型 GPT-3需要惊人的数以亿计的操作来训练,并且花费了大约 500 万....
    发表于 09-27 10:57 91次 阅读

    OpenDILab幕后的「孤勇者」:AI研究员、电竞冠军和他们的开源梦

    过去数十年,研究者夙兴夜寐,将无数人类智慧灌注其中,不断将「人工智能」的能力上限抬高。一个刚刚诞生的....
    的头像 邢强 发表于 09-27 10:40 209次 阅读
    OpenDILab幕后的「孤勇者」:AI研究员、电竞冠军和他们的开源梦

    DIGITAL DAY 2022解决方案看点 虚拟数字人

      DIGITAL DAY 2022 解决方案日将在2022年10月20日线上举行。此次解决方案日主....
    发表于 09-27 10:13 26次 阅读

    基于昇腾AI的东盟人工智能计算中心和适配中心正式发布

    日前,第三届中国(广西)—东盟人工智能大会在广西南宁正式举办。广西壮族自治区人民政府副主席秦如培,华....
    发表于 09-27 10:07 103次 阅读

    商汤科技亮相第二届BEYOND国际科技创新博览会

    近日,第二届“BEYOND国际科技创新博览会”在澳门举行。
    的头像 商汤科技SenseTime 发表于 09-27 09:42 931次 阅读

    NVIDIA DRIVE Sim仿真平台中的神经重建引擎功能

    DRIVE Sim 中的神经重建引擎(Neural Reconstruction Engine,NR....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-27 09:39 139次 阅读

    借助NVIDIA Research新的AI模型打造虚拟世界

    得益于 NVIDIA Research 新的 AI 模型,越来越多的公司和创作者创建的大型虚拟世界可....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-27 09:33 209次 阅读

    NVIDIA DRIVE Concierge重塑未来智能车载信息娱乐体验

    凭借在信息娱乐领域十余年的经验累积,NVIDIA 致力于为每位乘客提供个性化的智能车载信息娱乐体验。
    的头像 NVIDIA英伟达企业解决方案 发表于 09-27 09:29 107次 阅读

    使用NVIDIA Omniverse构建并运行元宇宙应用的云服务

    世界各地的开发者、创作者和企业都在使用 NVIDIA Omniverse 构建虚拟世界,并突破元宇宙....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-27 09:27 120次 阅读

    KT利用NVIDIA AI平台训练大型语言模型

    韩国先进的移动运营商构建包含数百亿个参数的大型语言模型,并使用 NVIDIA DGX SuperPO....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-27 09:24 169次 阅读

    亿智电子完成数亿元B轮融资 加速推进在端侧AI通用算力平台建设

    近日,亿智电子完成了累计数亿元规模的B轮融资。其中超亿元的B2轮于本月完成交割,B2轮由温氏资本领投....
    的头像 亿智电子 发表于 09-26 17:44 343次 阅读

    中科曙光联合雅捷信息面向金融行业发布数据智能一体机

    随着金融领域数智化转型进程的不断深入,金融大数据正呈现几何式爆发,而作为金融信息系统的关键基础设施,....
    的头像 中科曙光 发表于 09-26 15:18 370次 阅读

    思必驰携手追觅科技打造智能家居AI语控清洁助理

    近日,思必驰与智能清洁领域的创新科技公司追觅科技达成深入合作,携手推出智能扫地机器人新品——追觅豪华....
    发表于 09-26 14:35 42次 阅读

    华为加速昇腾AI生态在高校的落地

    “智能基座昇腾高校行”活动是基于教育部-华为“智能基座”产教融合协同育人基地项目开展的重要活动。活动....
    发表于 09-26 11:00 108次 阅读

    星图空间GEOVIS iBrain平台与华为AI框架昇思MindSpore完成兼容性测试

    作为人类视觉的延伸,海量的卫星影像中隐藏着巨大的价值。随着人工智能技术的进步,AI代替人工操作进行自....
    的头像 华为计算 发表于 09-26 09:54 297次 阅读

    在NVIDIA Omniverse Code竞赛中构建元宇宙的3D工具

    世界各地开发者所提交的扩展程序令首届NVIDIA Omniverse Code 竞赛实现了“开门红”....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-26 09:51 99次 阅读

    NVIDIA DRIVE Thor超级芯片助力车企打造安全可靠的自动驾驶汽车

    新一代系统级芯片能够将各种智能汽车功能整合到同一 AI 计算平台,助力车企打造安全可靠的自动驾驶汽车....
    的头像 NVIDIA英伟达 发表于 09-26 09:49 174次 阅读

    NVIDIA Nova Orin平台助力AMR的构建和部署

    NVIDIA 发布了Nova Orin(一种自主移动机器人 (AMR) 参考平台)的更新,从而推进其....
    的头像 NVIDIA英伟达 发表于 09-26 09:45 106次 阅读

    RTThread Studio SDK管理器打不开怎么解决呢

    SDK管理器出问题了,怎么解决呢?请教。。。 问题描述: RTThread Studio 之前一直是正常的,SDK之前使用的是gitee仓...
    发表于 09-19 14:08 498次 阅读

    一文简析RK3326 SDK软件架构

    1、rk3326-sdk软件架构   sdk框架图   sdk从下到上分为Bootloader、Linux Kernel、Libraries、Applications4个层次 ...
    发表于 09-16 17:04 4870次 阅读

    【ROC-RK3568-PC开发板试用体验】Linux系统构建-----闲话多,可倍速

    LinuxSDK,Rockchip提供了两种SDK,Firefly也提供了两种,分别是Buildroot和yocto。由于buildroot系统构建比较简单,同...
    发表于 09-10 10:17 3499次 阅读

    请问CH582M最新SDK主机角色是否不需要接32K?

    看SDK里面有不接32K的案例,目前582M主从使用,好像不接32K也可以正常通信,有什么隐患没有。      ...
    发表于 09-07 07:57 133次 阅读

    请问哪里可以获取鸿蒙开发的SDK说明文档

    我现在刚开始学习鸿蒙应用开发,开始打开源文件看到很多类以及这些类的方法,我想知道这些类和类中的属性、方法,就想过去java有...
    发表于 08-31 20:52 2316次 阅读

    CH573的USB有时候会出现无法识别的USB设备如何解决?

    你好,我这边尝试使用USB时发现,部分设备在接入时有机率报无法识别的USB设备的问题,重新拔插可以重新识别。USB是上电...
    发表于 08-29 06:09 99次 阅读

    请问SDK有提供停止广播的接口吗?

    请问 SDK有提供 停止广播的接口吗 从机可以在连接成功之前就设置好连接超时时间吗。 demo是在连接成功后,在更新连接参数...
    发表于 08-26 07:59 184次 阅读

    CH582做Central一直扫描不到是为什么?

        我使用CH582开发板做Central,使用官方的SDK例程,拿了个CH573开发板做Peripheral。测试发现并没有GAP...
    发表于 08-08 06:54 119次 阅读

    CH582M在BLE键盘项目中,手机很难连接有什么解决办法吗?

    用官方的BLE键盘的SDK测试的,从手机点击配对开始算,到手机显示已连接,要9秒的时长,这个时间太长了,而且IOS手机很...
    发表于 08-01 06:00 198次 阅读