0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

NVIDIA Isaac Sim满足模型的多样化训练需求

NVIDIA英伟达企业解决方案 来源:NVIDIA英伟达企业解决方案 2024-11-23 14:55 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

光轮智能借助NVIDIA Isaac Sim,通过 3D 生成与建模技术构建高度逼真的虚拟场景,将现实世界的复杂场景抽象并转化为高质量的训练数据源,从而更有效地满足模型的多样化训练需求。

AI 正从以算法中心向以数据为中心的时代演进。高质量且丰富的训练数据,已成为推动创新的核心资源。特别是在具身智能应用中,数据的稀缺极大限制了模型能力的提升和潜在应用的拓展。传统数据采集方式成本高昂、耗时漫长,例如谷歌的 RT1 和 RT2 项目共使用了 13 台机器人,耗时 17 个月才完成数据收集,显然难以支撑具身智能的发展需求。

因此,构建数据金字塔已成为突破数据瓶颈的关键。数据金字塔的根基由海量的非结构化网络数据组成,顶端由采集成本高昂的少量真实数据构成,有利于智能体高效且直接地进行知识迁移。合成数据的加入填补了前两者间的空缺,在采集成本、可泛化性与知识迁移方面拥有明显优势。真实数据、互联网数据与合成数据相互补充,共同构建了具身智能体训练的坚实基础。合成数据的引入不仅有效降低了数据采集成本,还通过高度拟真的物理模拟,提供了强大的泛化能力,为智能体在多样化场景中的应用打下基础。

打造高质量、可交互、可扩展的

具身智能仿真资产库与仿真训练平台

具身智能的关键目标之一是实现高度的通用性,使智能体能够在复杂场景中灵活执行多种任务。这种泛化能力的实现要求智能体具备对空间的深度认知,包括实时理解与适应环境中物体的位置、关系及动态变化。相较于传统的任务特定型智能体,具身智能体必须在陌生环境中迅速识别并推理出空间结构、时序事件及其相互关系,以有效适应任务。

NVIDIA Isaac Sim 为光轮智能生产合成数据提供了强大支持。Isaac Sim 通过物理驱动的虚拟环境,支持智能体算法的设计、模拟与测试。借助NVIDIA PhysX 5高级 GPU 物理模拟技术,平台实现了实时光线和路径追踪的逼真效果,并通过 MDL 材料定义支持物理渲染,使开发者能够基于通用场景描述(OpenUSD)构建自定义模拟器,提供真实的物理反馈和高度还原的交互体验。同时,平台还支持多种开放标准和格式,如 USD、FBX、OBJ 等,便于用户导入和导出不同的 3D 模型和场景。

光轮智能基于 Isaac Sim 构建的合成数据解决方案,能够高效提升具身智能公司的模型能力。光轮智能已积累了丰富的 OpenUSD 格式场景资产,支持任务级、物体级、场景级的物理可交互资产、数据的可控生成与泛化,并基于验证平台进行合成数据真实性和效用性的评测。

案例 1. 交互过程的物理参数随机化与动态真实性

使用高质量、可泛化的

合成数据助力模型性能提升

基于“Real2Sim2Real+Realism Validation”的核心技术栈,光轮智能推出基于 3D 混合渲染,具有物理真实、高度交互的合成数据产线及以数据为中心的端到端智能体算法解决方案。光轮智能旨在利用合成数据放大人类示范效用,通过闭环仿真加速 Self-play RL,加速具身智能落地。

光轮智能的仿真框架使用基于 3DGS 技术重建的场景,并通过场景资产的混合渲染,显著提升了训练场景的泛化能力。同时,真实的物理引擎能提供准确的反馈,助力模型实现更高效的知识迁移。高质量的仿真框架支持光轮智能在模型训练方面积极创新,通过在仿真器中直接训练等方式,进一步提升模型性能。

案例 2. 场景和物体元素的随机泛化

案例 3. 3D 混合渲染用于具身智能模型训练与评测

光轮智能致力于为企业推动 AI 落地提供合成数据解决方案,重点从具身智能场景切入,结合生成式 AI 和仿真技术,提供多模态、高质量、可泛化、可扩展、全链路的数据,助力 AI 在真实世界部署,加速具身智能行业发展。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • NVIDIA
    +关注

    关注

    14

    文章

    5696

    浏览量

    110142
  • 模型
    +关注

    关注

    1

    文章

    3831

    浏览量

    52287
  • 具身智能
    +关注

    关注

    0

    文章

    488

    浏览量

    909

原文标题:借助 NVIDIA Isaac Sim,光轮智能加速具身智能研发落地

文章出处:【微信号:NVIDIA-Enterprise,微信公众号:NVIDIA英伟达企业解决方案】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    MPB125 多输出 AC - DC 电源系列:满足多样化需求的理想之选

    MPB125 多输出 AC - DC 电源系列:满足多样化需求的理想之选 在电子设备的设计中,电源模块的性能和可靠性至关重要。今天,我们来深入了解一下 Bel Power Solutions 公司
    的头像 发表于 04-28 11:05 299次阅读

    借助NVIDIA Isaac Sim与World Labs Marble加速机器人仿真环境构建

    的虚拟世界。将开源机器人参考框架 NVIDIA Isaac Sim 与生成式模型,比如 World Labs 推出的 Marble 等相结合,即可通过文本或图像提示,为机器人开发创建完
    的头像 发表于 12-24 10:28 1736次阅读

    仅使用智能手机在NVIDIA Isaac Sim中重建场景

    使用 iPhone 拍摄照片,到利用 3DGUT 进行 3D 场景重建,再到将重建的场景导入 NVIDIA Isaac Sim 并添加机器人。若要跳过重建步骤(步骤 1–3),直接在 Isaa
    的头像 发表于 11-10 14:03 1195次阅读

    NVIDIA Isaac Lab推动机器人技术突破

    Isaac Lab 是 Isaac Gym 的替代版本,该框架已将 GPU 原生机器人仿真扩展至大规模多模态学习的全新领域。Isaac Lab 整合了 GPU 并行的物理真实的仿真、逼真的渲染技术,以及模块
    的头像 发表于 10-21 11:20 1367次阅读

    NVIDIA 利用全新开源模型与仿真库加速机器人研发进程

    。   借助全新的 NVIDIA Cosmos 世界基础模型,开发者可以生成多样化数据,从而大规模加速物理 AI 模型训练。   来自斯
    的头像 发表于 09-30 09:52 3230次阅读
    <b class='flag-5'>NVIDIA</b> 利用全新开源<b class='flag-5'>模型</b>与仿真库加速机器人研发进程

    NVIDIA Isaac Lab多GPU多节点训练指南

    NVIDIA Isaac Lab 是一个适用于机器人学习的开源统一框架,基于 NVIDIA Isaac Sim 开发,其模块
    的头像 发表于 09-23 17:15 2660次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> Lab多GPU多节点<b class='flag-5'>训练</b>指南

    NVIDIA Isaac Sim仿真平台助力他山科技实现触觉传感技术突破

    传感器仿真模型。该模型支持从虚拟环境构建到物理触觉渲染的端到端流程,满足云端大规模仿真训练需求的同时,补充边缘设备的实时交互场景,提升了触觉
    的头像 发表于 09-06 15:30 2208次阅读

    利用NVIDIA Cosmos模型训练通用机器人

    机器人领域的一大核心挑战在于如何让机器人掌握新任务,而无需针对每个新任务和环境耗费大量精力收集和标注数据集。NVIDIA 的最新研究方案通过生成式 AI、世界基础模型(如 NVIDIA Cosmos
    的头像 发表于 08-05 16:22 2271次阅读
    利用<b class='flag-5'>NVIDIA</b> Cosmos<b class='flag-5'>模型</b><b class='flag-5'>训练</b>通用机器人

    NVIDIA Jetson + Isaac SDK 在人形机器人领域的方案详解

    组件 描述 硬件平台(Jetson系列) 面向边缘AI和机器人开发的SoC模块,搭载GPU + ARM CPU,支持多种传感器和AI模型部署 软件平台(Isaac SDK / Isaac S
    的头像 发表于 07-30 16:05 3979次阅读

    NVIDIA Isaac Lab可用环境与强化学习脚本使用指南

    NVIDIA Isaac Sim 是一款基于 NVIDIA Omniverse 构建的参考应用,使开发者能够在基于物理的虚拟环境中模拟和测试 AI 驱动的机器人开发解决方案。
    的头像 发表于 07-14 15:29 2678次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> Lab可用环境与强化学习脚本使用指南

    华兴变压器:SG-10kVA三相隔离变压器,定制服务满足高海拔地区多样化需求

    高海拔地区地理环境复杂,不同用户的电力需求也存在差异。华兴变压器深入了解高海拔地区用户的实际需求,推出了SG-10kVA三相隔离变压器,并提供灵活的定制服务,满足用户的
    的头像 发表于 07-09 16:06 833次阅读
    华兴变压器:SG-10kVA三相隔离变压器,定制<b class='flag-5'>化</b>服务<b class='flag-5'>满足</b>高海拔地区<b class='flag-5'>多样化</b><b class='flag-5'>需求</b>

    NVIDIA Isaac SimIsaac Lab现已推出早期开发者预览版

    NVIDIA 发布了机器人仿真参考应用 Isaac Sim 和机器人学习框架 Isaac Lab 的开发者预览版。开发者现在可以通过 GitHub 访问早期版本,抢先体验先进功能,用于
    的头像 发表于 07-04 14:23 2065次阅读

    AIBOX 产品矩阵:支持主流大模型的私有部署,满足个性 AI 应用需求

    AIBOX系列产品具备高性能、低功耗、环境适应性强等特点,算力覆盖6-157TOPS,通过搭配多样化深度学习算法,体积小巧,能够支持主流大模型的私有部署,为多个智慧行业进行数字赋能
    的头像 发表于 06-25 16:32 2065次阅读
    AIBOX 产品矩阵:支持主流大<b class='flag-5'>模型</b>的私有<b class='flag-5'>化</b>部署,<b class='flag-5'>满足</b>个性<b class='flag-5'>化</b> AI 应用<b class='flag-5'>需求</b>

    NVIDIA Isaac Sim 4.5.0与lsaac Lab 2.0的安装教程

    Isaac SimIsaac Lab 目前开放下载的版本是 Isaac Sim 4.5.0 以及
    的头像 发表于 06-19 15:00 3356次阅读
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Isaac</b> <b class='flag-5'>Sim</b> 4.5.0与lsaac Lab 2.0的安装教程

    NVIDIA Isaac SimNVIDIA Isaac Lab的更新

    在 COMPUTEX 2025 上,NVIDIA 宣布了机器人仿真参考应用 NVIDIA Isaac Sim 和机器人学习框架 NVIDIA
    的头像 发表于 05-28 10:06 2438次阅读