0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练

NVIDIA英伟达 来源:未知 2023-07-17 19:45 次阅读

从头开始创建机器人是不是很有挑战性?

从零开始创建一个机器人并非及其困难,使用合适的工具,就能够轻松达到事半功倍的效果。

那么应该怎么开始呢?

从 0 到 1 搭建机器人系列文章将从第一步开始,拆解并串联起关于机器人创建的必要知识和所涉工具,希望能以 NVIDIA 提供的前沿解决方案为您铺平开发实践的道路。

今天我们将先从数据标记、模型训练开始,出场的是Isaac Sim ReplicatorNVIDIA TAO 工具套件,前者用于生成合成数据,后者可对合成数据进行训练,为机器人的仿真打下坚实的基础。

虚拟环境和合成数据

在现实世界中,制造机器人需要从头开始创建数据集,涉及到采集和注释海量真实图像等,这一过程耗时又费钱,存在人力协调方面的挑战,而且会减缓部署速度。因此,开发人员转向了合成数据生成 (SDG)、预训练 AI 模型、迁移学习和机器人仿真这几种方式。

合成数据是计算机模拟算法所生成的带有注释的信息,可以用于代替真实数据。虽然是人造数据,但合成数据能够从数学或统计学上反映真实数据。研究表明,在训练 AI 模型方面,合成数据与基于实际物体、事件或人的数据一样好。采用合成数据生成 (SDG) 无疑可以节省时间并降低成本。

预训练 AI 模型则是一种为了完成某项特定任务而在大型数据集上进行训练的深度学习模型,既可以直接使用,也可以根据某个应用的具体需求进行进一步微调。比如,在创建一个能够识别独角兽的模型时,首先会为其提供独角兽、马、猫和其他动物的图像作为传入数据。然后再构建具有代表性的数据特征层。从线条、颜色等简单特征开始,深入到复杂的结构特征。依据计算出的概率,这些特征将被赋予不同程度的相关性。一个生物看起来越像马,它是独角兽而不是猫的概率就越大。这些概率值被存储在 AI 模型的每个神经网络层。随着层数的增加,模型对表征的理解程度也在提高。试想一下,若要从头开始创建一个这样的模型,通常需要调用包含数十亿行数据的巨大数据集,几乎是一个‘事倍功半’的过程。相反,如果在预训练模型基础上进行开发,则可以更快创建出 AI 应用,无需处理堆积如山的传入数据或计算密集的数据层的概率。NVIDIA NGC即汇集了通过 GPU 优化的 AI 软件、模型和 Jupyter Notebook 示例,包括各种预训练模型以及为 NVIDIA AI 平台优化的 AI 基准和训练方式。

熟悉 NVIDIA 的开发者对 Isaac Sim 一定不会感到陌生,这是一个机器人仿真应用程序,用于创建虚拟环境和生成合成数据。更进一步,Isaac Sim Replicator 是一个建立在可扩展的Omniverse平台上的高度可扩展 SDK,它可以生成物理级精确的 3D 合成数据来加速 AI 感知网络的训练和性能。开发者可以使用 Isaac Sim Replicator 生成的大规模逼真合成数据,来引导和提高现有深度学习感知模型的性能。

有关于仿真测试的更多技术应用细节,我们将在以后的机器人系列文章中具体谈到。

数据标注和模型训练

选择好合适的模型后,就可以进一步训练和微调出更为准确的 AI 模型了,这也是 NVIDIA TAO 工具套件的用武之地。NVIDIA TAO 是一个框架,可使用自定义数据训练、调整和优化(TAO: Train, Adapt, and Optimize)计算机视觉 (CV) AI 模型和对话式 AI 模型,所需时间非常少,也无需拥有大型训练数据集或 AI 专业知识。

TAO 工具套件是 TAO 的低代码版本,基于 TensorFlow 和 PyTorch 构建,通过抽象出 AI/深度学习框架的复杂性来加速模型训练过程。有了 NVIDIA TAO 工具套件,开发者可以进行迁移学习,通过适应和优化,在短时间内达到最先进的精度和生产级吞吐量。在 NVIDIA GTC23 上,NVIDIA 发布了NVIDIA TAO 工具套件 5.0,带来了 AI 模型开发方面的突破性功能提升。

d658b5a2-2496-11ee-962d-dac502259ad0.svg

AI 辅助的数据标注和管理

如前文所述,数据标注仍然是一个昂贵且耗时的过程。对于 CV 任务尤其如此,比如需要在标注对象周围生成像素级别分割掩码的分割任务。通常,分割掩码的成本是对象检测或分类的 10 倍。

通过 TAO 工具套件 5.0 ,用最新的 AI 辅助标注功能对分割掩码进行标注,速度更快,成本更低。可以使用弱监督分割架构 Mask Auto Labeler (MAL) 来帮助进行分割注释,以及固定和收紧用于对象检测的边界框。实况数据中对象周围的松散边界框可能会导致非最佳检测结果,但通过 AI 辅助标注,可以将边界框收紧到对象上,从而获得更准确的模型。

NVIDIA TAO 工具套件自动标记工作流程

d658b5a2-2496-11ee-962d-dac502259ad0.svg

在任何平台、任何位置部署 NVIDIA TAO

NVIDIA TAO 工具套件 5.0 支持 ONNX 模型导出。无论是 GPU、CPUMCU、DLA 还是 FPGA 的边缘或云上的任何计算平台,都可以部署使用 NVIDIA TAO 工具套件训练的模型。NVIDIA TAO 工具套件简化了模型训练过程,优化了模型的推理吞吐量,为数千亿台设备的 AI 提供了动力。

除了传统对象检测和分割,NVIDIA TAO 工具套件也加速了其他的各种 CV 任务。TAO 工具套件 5.0 中新增的字符检测和识别模型使开发人员能够从图像和文档中提取文本。文档转换实现了自动化,并加速了在保险和金融等行业的用例。

为了提高透明度和可解释性, TAO 工具套件以开源形式提供。开发者能够从内部层查看特征图,并绘制激活热图,以更好地理解 AI 预测背后的推理过程。此外,访问源代码使开发者能够灵活地创建定制的 AI,提高调试能力,并增加对模型的信任。

到此为止,我们已经完成了数据的合成和训练,接下来让我们一起期待如何进行机器人模型的仿真与测试吧!

  • 下载 NVIDIA TAO 工具套件(https://developer.nvidia.com/tao-toolkit-get-started)并开始创建自定义 AI 模型。

  • 您也可以在 LaunchPad (https://www.nvidia.com/en-us/launchpad/ai/develop-fine-tune-computer-vision-models-with-tao-automl/)上体验 NVIDIA TAO 工具套件。

点击“阅读原文”,或扫描下方海报二维码,在 8 月 8日聆听NVIDIA 创始人兼 CEO 黄仁勋在 SIGGRAPH 现场发表的 NVIDIA 主题演讲,了解 NVIDIA 的新技术,包括屡获殊荣的研究,OpenUSD 开发,以及最新的 AI 内容创作解决方案。


原文标题:从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练

文章出处:【微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 英伟达
    +关注

    关注

    21

    文章

    3058

    浏览量

    87024

原文标题:从 0 到 1 搭建机器人 | 使用 NVIDIA Isaac Sim Replicator 和 TAO 套件进行数据合成和训练

文章出处:【微信号:NVIDIA_China,微信公众号:NVIDIA英伟达】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    使用 NVIDIA Isaac 仿真并定位 Husky 机器人

    如何使用 ROS 2 Husky 官方软件包将该机器人导入 NVIDIA Isaac Sim 并创建仿真。 本 Demo 中的 Husky 机器人
    的头像 发表于 12-26 18:05 213次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> 仿真并定位 Husky <b class='flag-5'>机器人</b>

    如何训练自主移动机器人使用合成数据检测仓库托盘千斤顶

    训练那些部署在自主移动机器人(AMR)上的感知 AI 模型时,合成数据可以发挥关键作用。这一过程在制造业中变得越来越重要。有关使用合成数据生成预
    的头像 发表于 11-09 10:45 121次阅读
    如何<b class='flag-5'>训练</b>自主移动<b class='flag-5'>机器人</b>使用<b class='flag-5'>合成数据</b>检测仓库托盘千斤顶

    NVIDIA Isaac 平台先进的仿真和感知工具助力 AI 机器人技术加速发展

      NVIDIA Isaac ROS 2.0  和  NVIDIA Isaac Sim 2023.1  以及感知和仿真升级
    的头像 发表于 10-20 02:00 309次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> 平台先进的仿真和感知工具助力 AI <b class='flag-5'>机器人</b>技术加速发展

    从 0 到 1 搭建机器人 | 利用 NVIDIA Isaac Sim 创建虚拟环境进行仿真开发与测试

    的第一步——生成合成数据然后进行训练。从 0 到 1 搭建机器人系列文章第二篇将带领大家继续学习如何创建虚拟环境,
    的头像 发表于 08-07 19:10 454次阅读
    从 0 到 1 <b class='flag-5'>搭建</b><b class='flag-5'>机器人</b> | 利用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b> 创建虚拟环境<b class='flag-5'>进行</b>仿真开发与测试

    profinet转ethernet网关连接发那科机器人配置案例

    机器人连接的远程I/O的IP地址即PROFINET转EtherNet网关ethernet端的IP地址; 10、添加一个链接; 11、设置好站IP(本例为192.168.0.5)厂商ID为
    发表于 08-03 17:58

    使用 NVIDIA TAO Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程

    NVIDIA TAO 工具套件 提供了一个低代码 AI 框架,无论是新手还是数据科学专家都可以使用这个平台加速视觉 AI 模型开发。有了 TAO
    的头像 发表于 07-31 20:45 348次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>TAO</b> Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程

    NVIDIA Omniverse让AI训练变得更加简单易用

    Rendered.ai 将 NVIDIA Omniverse Replicator 集成到其合成数据生成平台,使 AI 训练变得更加简单易用。
    的头像 发表于 07-24 09:14 763次阅读
    <b class='flag-5'>NVIDIA</b> Omniverse让AI<b class='flag-5'>训练</b>变得更加简单易用

    Omniverse 中文课程系列 7:使用 Isaac Sim 实现机器人仿真入门

    ! 使用 Isaac Sim 实现机器人仿真入门 学习目标 通过本课程,您将学习如何: 使用交互式 Python 脚本编程接口开发仿真应用 使用 USD 组件指定场景并强制应用仿真-时间属性 启动在仿真环境中封装复杂
    的头像 发表于 06-30 17:35 384次阅读
    Omniverse 中文课程系列 7:使用 <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b> 实现<b class='flag-5'>机器人</b>仿真入门

    基于 NVIDIA Jetson 使用硬件在环设计机器人

    Isaac 平台 应用于这些领域的。 NVIDIA Isaac 平台由 NVIDIA Isaac Si
    的头像 发表于 06-14 18:35 314次阅读
    基于 <b class='flag-5'>NVIDIA</b> Jetson 使用硬件在环设计<b class='flag-5'>机器人</b>

    使用 NVIDIA Isaac Sim、ROS 和 Nimbus 开发多机器人环境

    随着现实场景中部署的自主机器人越来越多,对高保真多机器人仿真环境的需求也在迅速增长。本文将回顾笔者过去在 Cogniteam 使用的仿真多机器人的方法、目前使用  NVIDIA
    的头像 发表于 06-07 08:45 354次阅读
    使用 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b>、ROS 和 Nimbus 开发多<b class='flag-5'>机器人</b>环境

    COMPUTEX2023 | NVIDIA Isaac AMR 助力移动机器人实现高级自动化

    Isaac AMR 将很快开启客户抢先体验,可使用基于 Nova Orin 的参考机器人进行评估。 想要提高运营效率的行业对移动机器人的需求日益增长,使得移动
    的头像 发表于 06-04 02:25 392次阅读
    COMPUTEX2023 | <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> AMR 助力移动<b class='flag-5'>机器人</b>实现高级自动化

    COMPUTEX2023 | 达明机器人采用 NVIDIA Isaac Sim 优化自动光学检测

    ,广达子公司达明机器人(Techman Robot)的机器人如何运用 NVIDIA Isaac Sim ,一款基于
    的头像 发表于 05-30 01:40 559次阅读

    使用 ROS 2 MoveIt 和 NVIDIA Isaac Sim 创建逼真的机器人模拟

    了将 MoveIt 2 与 NVIDIA Isaac Sim 中模拟的机器人进行集成的过程。本教程需要一台安装了
    的头像 发表于 05-12 10:45 461次阅读
    使用 ROS 2 MoveIt 和 <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b> 创建逼真的<b class='flag-5'>机器人</b>模拟

    GTC23 | 使用 NVIDIA TAO Toolkit 5.0 体验最新的视觉 AI 模型开发工作流程

    NVIDIA TAO 工具套件 提供了一个低代码 AI 框架,让无论是新手还是数据科学专家都可以使用这个平台加速视觉 AI 模型开发。通过 NVID
    的头像 发表于 03-29 03:40 695次阅读

    GTC23 | NVIDIA 扩大 Isaac 软件的接入范围并提高 Jetson 平台的可用性,加快机器人技术从云到边缘的发展

    NVIDIA 近日在 GTC 上宣布, Omniverse Cloud  将托管在 Microsoft Azure 上,以扩大 NVIDIA AI 机器人开发和管理平台——  Isaac
    的头像 发表于 03-25 15:20 343次阅读