还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA提供用于AI训练的合成数据生成工具

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 作者:NVIDIA英伟达企业解 2022-07-03 10:06 次阅读

提供合成数据生成工具和服务的企业以及开发者现在可以使用 Omniverse Replicator SDK 构建自定义、物理级精确的合成数据生成管线。Omniverse Replicator SDK 建立在 NVIDIA Omniverse 平台上,目前已在 Omniverse Code 内提供公测版。

Omniverse Replicator 是一个建立在可扩展的 Omniverse 平台上的高度可扩展 SDK,它可以生成物理级精确的 3D 合成数据来加速 AI 感知网络的训练和性能。开发者、研究人员和工程师现在可以使用 Omniverse Replicator 生成的大规模逼真合成数据来引导和提高现有深度学习感知模型的性能。

Omniverse Replicator 为开发者提供了一个可以根据他们的神经网络要求构建特定合成数据生成应用的特殊平台。它建立在通用场景描述(USD)、PhysX 和材质定义语言(MDL)等开放标准之上并带有易于使用的 python API,还具有可扩展性并且支持自定义随机发生器、注释器和写入器。Replicator 通过基于 CUDA 的 OmniGraph 实现核心注释器功能,支持瞬间数据生成,因此可以实时预览输出。当与 Omniverse Farm 和 SwiftStack 输出相结合时,Replicator 可在云中提供大规模的可扩展性。

Omniverse Replicator SDK 由六个用于自定义合成数据工作流程的主要组件组成:

语义模式编辑器:通过对 3D 资产及其 prim 进行语义标记,Replicator 可以在渲染和数据生成过程中对目标对象进行注释。语义模式编辑器提供一种通过用户界面将这些标签应用于 prim 的方式。

可视化器:为分配给 3D 资产的语义标签以及 2D/3D bounding box、法线、深度等注释提供可视化功能。

随机发生器:域随机化是 Replicator 最重要的功能之一。用户可以使用随机发生器创建随机化的场景,从资产、材质、照明和摄像机位置等随机化能力中取样。

Omni.syntheticdata:提供与 Omniverse RTX 渲染器和 OmniGraph 计算图系统的低层次集成,驱动 Replicator 的基准真值数据提取注释器,将任意输出变量(AOV)从渲染器传递到注释器。

注释器:从 Omni.syntheticdata 扩展程序中提取 AOV 和其他输出,生成用于深度神经网络(DNN)训练的精确标记注释。

写入器:处理来自注释器的图像和其他注释,并生成用于训练的 DNN 专用数据格式。

用于 AI 训练的合成数据

为了训练一个用于感知任务的 DNN,通常需要从数百万图像中手动采集数据,然后对这些图像进行手动注释和有选择性的增强。

人工数据采集和注释是一项费力而主观的任务。在采集和注释真实图像的过程中,即便只是像大规模 2D bounding box 这样的简单注释也会带来许多人力协调方面的挑战。分割等所涉及到的注释存在资源限制,并且手动执行此类任务时的准确性要差得多。

在采集和注释完毕后,数据将被转换成 DNN 可用的格式,然后训练用于感知任务的 DNN。一般情况下,接下来会通过超参数调节或改变网络结构来优化网络性能。在对模型性能进行分析时,可能会导致数据集发生变化,在大多数情况下,还需要进行一轮手动数据采集和注释,这种人工数据采集和注释的迭代循环是昂贵、乏味且缓慢的。

凭借以合成方式生成的数据,团队就能以一种高成本效益的方式启动和加强带有准确注释的大规模训练数据的生成。此外,合成数据生成还有助于解决与长尾异常、缺乏可用训练数据和在线强化学习有关的挑战。不同于人工采集和注释的数据,以合成方式生成的数据具有较低的摊销成本。由于数据采集/注释和模型训练周期一般具有迭代性,因此这一点十分有益。

Omniverse Replicator 通过利用 Omniverse 平台的众多核心功能和最佳实践来解决这些挑战,包括但不限于物理级精确、逼真的数据集和对超大数据集的访问。

为了生成物理级精确的逼真数据集,需要使用各种 RTX 技术、基于物理学的材质和物理引擎等 Omniverse 平台的所有核心技术进行准确的光线追踪和路径追踪。

基于通用场景描述(USD)的 Omniverse 可以无缝连接其他 3D 应用,因此开发者可以导入自定义内容或编写自己的工具来生成不同的域场景。由于需要在多个 GPU 和节点上进行扩展,因此这些资产的生成往往会成为瓶颈。

Omniverse Replicator 通过 Omniverse Farm 使团队能够一起使用多个工作站或服务器驱动渲染或合成数据生成等工作。合成数据生成工作流程不是一蹴而就的,为了成功使用合成数据训练网络,必须在真实数据集上反复测试该网络。Replicator 通过将模拟世界转换为一组可学习的参数来提供这种以数据为中心的 AI 训练。

使用 Omniverse Replicator 和 TAO 工具套件加速现有的工作流程

开发者、工程师和研究人员可以将 Omniverse Replicator 与现有的工具进行整合,来加快 AI 模型的训练速度。例如,在生成合成数据后,开发者可以利用 NVIDIA TAO 工具套件快速训练他们的 AI 模型。TAO 工具套件利用迁移学习让开发者无需事先掌握 AI 专业知识,就能根据其用例来训练、调整和优化模型。

使用 Omniverse Replicator 构建应用

Kinetic Vision 是一家为零售、内部物流、消费性制造和消费性包装品行业的大型客户提供服务的系统集成商。为了向客户提供高质量的合成数据服务,该公司正在开发一个基于 Omniverse Replicator SDK 的新企业应用。

当训练深度学习模型所需的数据不可用时,Omniverse Replicator 会生成可用于增强有限数据集的合成数据。Lightning AI (前身为 Grid.AI)使用 NVIDIA Omniverse Replicator 生成基于通用场景描述(USD)格式、物理级精确的 3D 数据集,这些数据集可用于训练这些模型。用户只需要拖放 3D 资产,然后在数据集生成后,就可以选择最新、最先进的计算机视觉模型并使用合成数据自动训练。

NVIDIA Isaac Sim 和 DRIVE Sim 团队使用 Omniverse Replicator SDK 构建特定领域的合成数据生成工具——用于机器人的 Isaac Replicator 和用于自动驾驶汽车训练的 DRIVE Replicator。Omniverse Replicator SDK 为开发者提供一套核心功能,方便开发者利用 Omniverse 平台所提供的所有优势建立任何特定领域的合成数据生成管线。Replicator 通过将 Omniverse 作为 3D 模拟、渲染和 AI 开发能力的开发平台,提供自定义合成数据生成管线。

使用Omniverse Replicator

现在可以在 Omniverse Code 中使用 Omniverse Replicator SDK。用户可从 Omniverse Launcher 下载 Omniverse Code。

原文标题:使用 Omniverse Replicator 构建自定义合成数据生成管线

文章出处:【微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

审核编辑:汤梓红

  • 数据
    +关注

    关注

    8

    文章

    4727

    浏览量

    81099
  • NVIDIA
    +关注

    关注

    14

    文章

    2677

    浏览量

    95726
  • AI
    AI
    +关注

    关注

    85

    文章

    20403

    浏览量

    238554
  • SDK
    SDK
    +关注

    关注

    1

    文章

    641

    浏览量

    41195
收藏 人收藏

    评论

    相关推荐

    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

     电子发烧友原创 章鹰   近期,机器视觉赛道升温,主要有两家公司传来好消息。首先,华为在8月8日正....
    的头像 章鹰观察 发表于 08-14 00:00 212次 阅读
    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

      总部位于东京的初创企业 Telexistence 本周宣布将在日本数百家全家(FamilyMar....
    发表于 08-12 17:54 54次 阅读
    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    ABI的研究调查表明,预计到2024年设备端的AI推理功能将覆盖近60%的设备。FPGA作为实现边缘....
    的头像 花茶晶晶 发表于 08-12 16:39 398次 阅读
    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    人工智能在大数据分析应用的作用越来越大,更多的专业数据分析也开始采用上基于英伟达AI 技术来大幅提升....
    的头像 电子麦克风 发表于 08-12 16:32 428次 阅读
    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    耐科装备半导体封装产品被中止科创板上市

    耐科装备本次拟公开发行股份不超过2050万股,募集4.12亿元资金,用于半导体封装装备新建项目以及W....
    发表于 08-12 13:56 55次 阅读

    聚焦数据价值激活 西部数据创新存储技术加速开放计算落地

    现如今,数据中心、云计算、边缘计算早已不是简单的技术名词,各类新型应用与技术的不断涌现,正在渗透到生....
    的头像 话说科技 发表于 08-12 13:20 44次 阅读
    聚焦数据价值激活 西部数据创新存储技术加速开放计算落地

    NVIDIA Studio技术如何加速创意工作流

    编辑注:本文是 NVIDIA Studio 创意加速系列的一部分,该系列旨在介绍一些特邀艺术家、提供....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:21 148次 阅读

    NVIDIA SIGGRAPH的最新发布与重要更新

    在今年的 SIGGRAPH 2022 上,NVIDIA 宣布,为基于通用场景描述(USD)连接和构建....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:14 107次 阅读

    NVIDIA谈引发图形革命的三大驱动力

    AI、虚拟世界和数字人正在推动视觉设计进入更宽广的轨道。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:12 107次 阅读

    NVIDIA Instant NeRF赢得SIGGRAPH最佳论文

    世界各地的开发者和创作者下载了来自 NVIDIA Research 的最新代码,以使用 2D 图像创....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:10 145次 阅读

    全新NVIDIA神经图形SDK助力3D内容创建

    新发布的 NeuralVDB 和 Kaolin Wisp 等十几款工具和程序使数百万设计师和创作者能....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:07 115次 阅读

    配置Python开发环境的DeepStream容器

    对于熟悉 C++ 的开发人员来说,前一篇文章将 DeepStreamSamples 版容器的范例搬到....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:05 125次 阅读

    使用基于Eclipse开发Android应用程序的好处

      商业开发产品提供的所有功能都扩展和增强了 Google 提供的基本 SDK。虽然 Google ....
    的头像 星星科技指导员 发表于 08-12 10:29 182次 阅读
    使用基于Eclipse开发Android应用程序的好处

    Kneron的3D AI解决方案满足安全防范和现代化管理需求

    Kneron创办人暨执行长刘峻诚表示:“Kneron致力于发展人工智能在终端装置上的应用,3D AI....
    发表于 08-12 10:15 37次 阅读

    瑞为智慧机场解决方案覆盖全国2/3的千万级机场

    扎根租住行业的7年,深圳市优电智能有限公司(以下简称“优电智能”)的创始团队对这句话的理解应该更加深....
    的头像 瑞为技术Reconova 发表于 08-12 09:02 120次 阅读

    几种常见的机器被黑情况

    随着开源产品的越来越盛行,作为一个Linux运维工程师,能够清晰地鉴别异常机器是否已经被入侵了显得至....
    的头像 马哥Linux运维 发表于 08-12 08:57 60次 阅读

    污水管道网数据监管系统

    污水管道网数据监管系统 智能污水管道网数据监管系统 AMT-MD400 一.产品概述 智能排水/污水....
    的头像 仪器仪表在线设备 发表于 08-12 00:53 27次 阅读
    污水管道网数据监管系统

    医疗设备3D图形挑战系统硬件开发

      以 3D 形式查看患者图像正在稳步改进治疗选择——更好的数据有助于从手术、创伤情况或常规治疗等各....
    的头像 星星科技指导员 发表于 08-11 17:46 89次 阅读

    使用AI技术改进医学成像

      RDMA 的一个典型用例是超声波。在大多数情况下,超声波利用 FPGA 等前端设备在数据到达 G....
    的头像 星星科技指导员 发表于 08-11 16:37 290次 阅读

    MobPush丨Android端SDK API

    描述:添加推送监听,可监听接收到的自定义消息(透传消息)、通知消息、通知栏点击事件、别名和标签变更操....
    的头像 MobTech科技派 发表于 08-11 16:10 94次 阅读
    MobPush丨Android端SDK API

    为什么智能医院的医疗级平板电脑

      具有 3D 医学成像功能的 MXM 显卡还将医学成像提升到一个新的水平,并且还允许集成网络摄像头....
    的头像 星星科技指导员 发表于 08-11 15:59 224次 阅读

    通信周动态

    行业相关 1、筑路数字经济 中兴通讯携创新终端产品亮相2022世界5G大会 8月10日,中兴通讯亮相....
    的头像 研精毕智 发表于 08-11 15:33 147次 阅读

    指针的概念

      简单回顾一下指针的概念 内存会划分以字节为单位的空间,每一个字节都有一个编号(地址/指针) 指针....
    的头像 C语言编程学习基地 发表于 08-11 15:16 84次 阅读

    OA系统与ERP系统进行整合打通,实现数据对接

    随着企业发展,企业仅仅布置一套系统的可能性越来越小。企业内部OA办公系统、CRM、ERP等全面开花也....
    的头像 秒秒说数据 发表于 08-11 13:26 65次 阅读

    Linux下文件IO相关操作

    Linux - 基础 IO 文件 IO 相关操作 stdin stdout stderr 系统文件 ....
    发表于 08-11 11:55 66次 阅读

    IBM提供SOAR解决方案帮助企业整合加快事件响应速度

    自2020年以来,企业和组织对安全AI和自动化技术的使用跃升了近五分之一; 关键性基础设施组织(包括....
    的头像 IBM中国 发表于 08-11 10:29 187次 阅读

    下一代人工智能基础设施的特征

    自动驾驶领域在近两年被大家所熟悉,主要的市场诱导因素是Tesla在辅助智能驾驶和采用全视觉技术的影子....
    发表于 08-11 10:02 70次 阅读

    零距离了解昇腾AI的软硬件能力

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 华为数字中国 发表于 08-11 09:54 350次 阅读

    基于昇腾AI的MoloSight针对不同的使用场景提供3种不同版本选择

    近日,基于昇腾AI,摩赛恩与华为携手推出质谱智能计算系统MoloSight,并正式加入昇腾万里伙伴计....
    的头像 华为计算 发表于 08-11 09:49 242次 阅读

    context的四个基本方法

    很多时候,我们会遇到这样的情况,上层与下层的goroutine需要同时取消,这样就涉及到了gorou....
    的头像 马哥Linux运维 发表于 08-11 09:39 69次 阅读

    2024年设备端AI推理功能将覆盖近60%的设备

    去年莱迪思发布了sensAI 4.1解决方案,当时介绍的一个典型案例是用于PC智能和感知体验。如今,....
    的头像 电子发烧友网 发表于 08-11 09:32 185次 阅读

    NVIDIA Jetson TX2 NX GPU助力微链DaoAI加速数据处理

    微链 DaoAI是市场领先的3D 视觉和 AI 机器人系统供应商,拥有全球领先的 3D 视觉认知技术....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-11 09:31 131次 阅读

    NVIDIA发布Omniverse重要版本

    NVIDIA 新发布的工具和功能包括:Avatar Cloud Engine;DeepSearch ....
    的头像 NVIDIA英伟达 发表于 08-11 09:29 83次 阅读

    NVIDIA第二季度收入预计约为67亿美元

    NVIDIA 公司宣布截至 2022 年 7 月 31 日的第二季度初步财务报告部分内容。
    的头像 NVIDIA英伟达 发表于 08-11 09:28 96次 阅读

    全新NVIDIA Omniverse ACE加速虚拟形象开发工作

    Omniverse Avatar Cloud Engine(ACE)为游戏、聊天机器人、数字孪生和虚....
    的头像 NVIDIA英伟达 发表于 08-11 09:24 134次 阅读

    NVIDIA发布开源USD资源和测试套件

    在皮克斯、Adobe、Autodesk、西门子以及媒体、游戏、机器人、工业自动化和零售业等领域创新者....
    的头像 NVIDIA英伟达 发表于 08-11 09:22 128次 阅读

    NVIDIA DOCA 1.4版本的主要更新内容

    NVIDIA DOCA 软件框架旨在帮助开发者在当前和未来的 NVIDIA BlueField DP....
    的头像 NVIDIA英伟达 发表于 08-11 09:20 60次 阅读

    NVIDIA 将为StreamLake释放更多视频云计算能力

    8 月 10 日,快手 StreamLake 品牌发布会正式举办,以“云启共生·水润万象”为主题,推....
    的头像 NVIDIA英伟达 发表于 08-11 09:19 140次 阅读

    参天生长大模型:昇腾AI如何强壮模型开发与创新之根?

    自2018年谷歌发布BERT以来,预训练大模型经过几年的发展,以强大的算法效果,席卷了以NLP为代表....
    的头像 脑极体 发表于 08-11 09:10 330次 阅读

    MediaTek APU以DLA VPU为核心 高能效AI赋能全场景体验

    为新趋势而生 MediaTek APU 以深度学习加速器(DLA)、视觉处理单元(VPU),以及基于....
    发表于 08-10 19:30 106次 阅读

    小成本的V853 AI小开发板DIY设计

    全志最新发布的V853芯片拥有1T的NPU算力,还有Arm+RISC-V+NPU三核异构和丰富的音视....
    的头像 全志在线 发表于 08-10 17:36 95次 阅读

    AI+边缘计算,让城市治理难题“看得见”

    国家“十四五”规划纲要强调“加快数字化发展,建设数字中国”,提出“以数字化助推城乡发展和治理模式创新....
    的头像 英码科技 发表于 08-10 16:59 141次 阅读
    AI+边缘计算,让城市治理难题“看得见”

    CH582做Central一直扫描不到是为什么?

        我使用CH582开发板做Central,使用官方的SDK例程,拿了个CH573开发板做Peripheral。测试发现并没有GAP...
    发表于 08-08 06:54 71次 阅读

    CH582M在BLE键盘项目中,手机很难连接有什么解决办法吗?

    用官方的BLE键盘的SDK测试的,从手机点击配对开始算,到手机显示已连接,要9秒的时长,这个时间太长了,而且IOS手机很...
    发表于 08-01 06:00 51次 阅读

    CH376S以字节方式写入数据失败怎么处理?

    主控芯片:PICF18 通讯方式:8位并口 中断方式:状态最高位检测         USB初始化正常...
    发表于 07-13 07:46 186次 阅读

    CH375写数据时写不进去怎么解决?

    换行怎么输入? mCmdParam.ByteWrite.mByteBuffer[0] = '/'; mCmdParam.ByteWrite.mByteBuffer[1] = 'n'; mCm...
    发表于 07-12 06:16 120次 阅读

    华秋第八届硬创大赛携手NVIDIA初创加速计划,赋能企业发展

    中国硬件创新创客大赛始于2015年,由深圳华秋电子有限公司主办,至今已经成功举办七届,赛事范围覆盖华南、华东、华北三大地...
    发表于 07-11 11:28 3326次 阅读

    CH375的标准请求数据接收不匹配怎么解决?

    Chek OK USB work type:51 Set mode OK INT = 0B bus rest! INT = 0B bus rest! INT = 0B bus res...
    发表于 07-08 06:33 153次 阅读

    利用Android程序去控制两个LED

    始终没有接触过Android的程序开发,被其开发环境的建立以及众多的SDK版本吓住了,而且也比较厌恶托管语言,所以一直没有动手...
    发表于 07-06 14:28 1451次 阅读

    泰凌 BT/BLE 双模 controller SDK 功能开发指南(适用于 B91 系列)

    本文主要是对泰凌 BT/BLE 双模 controller SDK 功能的描述,通过 HCI 接口来适配不同的 host,支持标准的 HCI协议和...
    发表于 07-05 15:08 1704次 阅读

    泰凌微电子B91 BLE Single Connection SDK的开发指南(适用于 B91 系列)

    1 SDK 介绍 该 BLE SDK 提供 BLE slave Single Connection 开发 demo,用户可以在这些 demo 基础上开发自己的应用...
    发表于 07-05 15:01 1622次 阅读

    【ELT.ZIP】OpenHarmony啃论文俱乐部——多维探秘通用无损压缩

    本文出自 ELT.ZIP 团队,ELT<=>Elite(精英),.ZIP为压缩格式,ELT.ZIP即压缩精英。 成员: 上海...
    发表于 07-02 18:17 5736次 阅读