还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

NVIDIA 3D MoMa技术可为虚拟爵士乐队调校乐器

科技绿洲 来源:NVIDIA英伟达 作者:NVIDIA英伟达 2022-06-23 14:53 次阅读

爵士乐的精髓在于即兴演奏, NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天,图形作者可以使用快速创建出的 3D 物体,来一场即兴表演。

这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。

NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周,关于 3D MoMa 的论文将在 CVPR 上发表。

基于 2D 图像创建 3D 物体

可逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。NVIDIA 图形学研究副总裁 David Luebke 表示:“该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”

他表示:“NVIDIA 3D MoMa 渲染流水线可以将可逆渲染问题的每个部分表示为 GPU 加速的可微分组件,然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”

为了使艺术家或工程师能够充分利用 3D 物体,其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类 3D 工具使用的通用语言。

三角网格是用于定义 3D 图形和建模形状的基本框架

游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的 3D 模型,但并不是使用易于编辑的三角网格形式。

当在单个 NVIDIA Tensor Core GPU 上运行时, NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。

流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理,就像人的皮肤一样。NVIDIA 3D MoMa 通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。

为虚拟爵士乐队调校乐器

为了展示 NVIDIA 3D MoMa 的功能, NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约 100 张图片。

NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示,并以网格形式呈现。然后, NVIDIA 团队将这些乐器从原始场景中取出,并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。

在任何传统图形引擎中,创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后,创作者可以将新编辑的物体放入任何虚拟场景中。NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。

这些通过可逆渲染生成的新物体可以作为复杂动画场景的构成要素。

审核编辑:彭静
  • 3D
    3D
    +关注

    关注

    4

    文章

    2095

    浏览量

    100986
  • NVIDIA
    +关注

    关注

    14

    文章

    2686

    浏览量

    95744
  • gpu
    gpu
    +关注

    关注

    27

    文章

    2844

    浏览量

    116814
收藏 人收藏

    评论

    相关推荐

    MCM应用于GPU还需要多久

    消费用户市场,普通用户都能用上16核甚至64核处理器的PC。这可不是单纯堆核心就完事儿的。以当前CP....
    的头像 FPGA之家 发表于 08-14 14:50 96次 阅读

    NVIDIA Isaac ROS GEM的功能特性

    NVIDIA Isaac ROS GEM 是一款基于硬件加速的软件包,可以让 ROS 开发者更轻松地....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 11:12 105次 阅读

    3D设计协作和世界仿真平台NVIDIA Omniverse的更新内容

    在全球最大的计算机图形盛会 SIGGRAPH 上,NVIDIA 宣布要为使用实时 3D 设计协作和世....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 11:00 163次 阅读

    通过NVIDIA DeepSearch工具提升天空制作效果

    知名工作室利用 Omniverse AI 助力的搜索工具筛选庞大的 3D 场景数据库。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 11:00 127次 阅读

    NVIDIA发布NeuralVDB 可将内存占用量减少高达100倍

    NeuralVDB 可将烟雾、云和其他稀疏体积数据的内存占用量减少多达 100 倍。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:58 154次 阅读

    NVIDIA将全面开源材质定义语言(MDL)

    NVIDIA 在 SIGGRAPH 2022 大会上宣布,为了进一步扩大 MDL 生态系统,将全面开....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:51 86次 阅读

    使用NVIDIA Omniverse开展数字孪生教学

    Donald Greenberg 在康奈尔大学的办公室里度过了 54 年的计算职业生涯,他在这间办公....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:51 96次 阅读

    NVIDIA通过Vid2Vid Cameo演示表演捕捉技术

    Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid C....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:49 139次 阅读

    NVIDIA CloudXR赋能全云端实时渲染解决方案

    根号叁•企业空间号是企业对外三维展示的全新载体。根号叁自主搭建的商业元宇宙平台 Starverse,....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:46 102次 阅读

    量子处理单元(QPU)的定义及工作原理

    量子处理单元(QPU)是量子计算机的“大脑”。它利用电子或光子等粒子的行为来进行特定类型的计算,其速....
    发表于 08-14 10:33 31次 阅读

    摩尔定律为处理器创新让路

    从数据中心到网络边缘传感器,摩尔定律、冯诺依曼和哈佛在人工智能和图像处理的信号处理新方法方面排名第二
    发表于 08-12 16:04 23次 阅读
    摩尔定律为处理器创新让路

    AI GPU计算在工厂车间提供数据中心性能

    用于自动检测的 AI GPU 计算改变了质量控制操作、运行复杂的视觉算法并整合了工作负载。
    发表于 08-12 16:01 15次 阅读

    壁仞科技发布首款通用GPU芯片 苹果智能指环专利曝光

    近日,亚马逊宣布将以约17亿美元的价格收购真空吸尘器制造商iRobot。根据公告,亚马逊表示,将以每....
    的头像 Camsense 发表于 08-12 13:50 154次 阅读

    芯动科技风华2号GPU与麒麟操作系统完成互认证

    近期,由芯动科技(INNOSILICON)自主研发的“风华2号”GPU与银河麒麟桌面操作系统全面完成....
    的头像 芯动科技Innosilicon 发表于 08-12 11:37 160次 阅读

    NVIDIA Studio技术如何加速创意工作流

    编辑注:本文是 NVIDIA Studio 创意加速系列的一部分,该系列旨在介绍一些特邀艺术家、提供....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:21 153次 阅读

    NVIDIA SIGGRAPH的最新发布与重要更新

    在今年的 SIGGRAPH 2022 上,NVIDIA 宣布,为基于通用场景描述(USD)连接和构建....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:14 113次 阅读

    NVIDIA谈引发图形革命的三大驱动力

    AI、虚拟世界和数字人正在推动视觉设计进入更宽广的轨道。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:12 117次 阅读

    NVIDIA Instant NeRF赢得SIGGRAPH最佳论文

    世界各地的开发者和创作者下载了来自 NVIDIA Research 的最新代码,以使用 2D 图像创....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:10 153次 阅读

    全新NVIDIA神经图形SDK助力3D内容创建

    新发布的 NeuralVDB 和 Kaolin Wisp 等十几款工具和程序使数百万设计师和创作者能....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:07 125次 阅读

    配置Python开发环境的DeepStream容器

    对于熟悉 C++ 的开发人员来说,前一篇文章将 DeepStreamSamples 版容器的范例搬到....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:05 127次 阅读

    基于TLC6A598的可靠相移驱动器PCB

    电子发烧友网站提供《基于TLC6A598的可靠相移驱动器PCB.zip》资料免费下载
    发表于 08-12 10:47 12次 阅读
    基于TLC6A598的可靠相移驱动器PCB

    IP平台支持云连接设备开发

      越来越广泛的高度便携应用平台,如 Linux、Android 和复杂的实时操作系统 (RTOS)....
    的头像 星星科技指导员 发表于 08-12 10:27 33次 阅读

    Kneron的3D AI解决方案满足安全防范和现代化管理需求

    Kneron创办人暨执行长刘峻诚表示:“Kneron致力于发展人工智能在终端装置上的应用,3D AI....
    发表于 08-12 10:15 51次 阅读

    医疗设备3D图形挑战系统硬件开发

      以 3D 形式查看患者图像正在稳步改进治疗选择——更好的数据有助于从手术、创伤情况或常规治疗等各....
    的头像 星星科技指导员 发表于 08-11 17:46 97次 阅读

    使用AI技术改进医学成像

      RDMA 的一个典型用例是超声波。在大多数情况下,超声波利用 FPGA 等前端设备在数据到达 G....
    的头像 星星科技指导员 发表于 08-11 16:37 330次 阅读

    GPU引擎增强了超声检测到的大脑运动计算

      平均而言,GPU 计算位移的时间为 51.50 毫秒,而 CPU 计算的时间为 621.5 毫秒....
    的头像 星星科技指导员 发表于 08-11 15:00 132次 阅读
    GPU引擎增强了超声检测到的大脑运动计算

    NVIDIA Jetson TX2 NX GPU助力微链DaoAI加速数据处理

    微链 DaoAI是市场领先的3D 视觉和 AI 机器人系统供应商,拥有全球领先的 3D 视觉认知技术....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-11 09:31 139次 阅读

    NVIDIA发布Omniverse重要版本

    NVIDIA 新发布的工具和功能包括:Avatar Cloud Engine;DeepSearch ....
    的头像 NVIDIA英伟达 发表于 08-11 09:29 93次 阅读

    NVIDIA第二季度收入预计约为67亿美元

    NVIDIA 公司宣布截至 2022 年 7 月 31 日的第二季度初步财务报告部分内容。
    的头像 NVIDIA英伟达 发表于 08-11 09:28 104次 阅读

    全新NVIDIA Omniverse ACE加速虚拟形象开发工作

    Omniverse Avatar Cloud Engine(ACE)为游戏、聊天机器人、数字孪生和虚....
    的头像 NVIDIA英伟达 发表于 08-11 09:24 140次 阅读

    NVIDIA发布开源USD资源和测试套件

    在皮克斯、Adobe、Autodesk、西门子以及媒体、游戏、机器人、工业自动化和零售业等领域创新者....
    的头像 NVIDIA英伟达 发表于 08-11 09:22 132次 阅读

    NVIDIA DOCA 1.4版本的主要更新内容

    NVIDIA DOCA 软件框架旨在帮助开发者在当前和未来的 NVIDIA BlueField DP....
    的头像 NVIDIA英伟达 发表于 08-11 09:20 64次 阅读

    NVIDIA 将为StreamLake释放更多视频云计算能力

    8 月 10 日,快手 StreamLake 品牌发布会正式举办,以“云启共生·水润万象”为主题,推....
    的头像 NVIDIA英伟达 发表于 08-11 09:19 152次 阅读

    FinFET 发展的演变

    技术路线图始终是双向的,一半来自技术方面的进步,另一半来自市场的需求。
    的头像 半导体产业纵横 发表于 08-10 11:44 162次 阅读

    基于OnePose的无CAD模型的物体姿态估计

    基于CAD模型的物体姿态估计:目前最先进的物体6DoF姿态估计方法可以大致分为回归和关键点技术。第一....
    的头像 city_prolove 发表于 08-10 11:42 275次 阅读

    用于3D点云形状分析的跨模态知识迁移统一架构的构建

    图 1 提出的 MV-V2GD 跨模态知识迁移框架的总体流程图,其中包括:一个预训练的基于图像的te....
    的头像 city_prolove 发表于 08-10 11:19 117次 阅读

    FPGA执行通信密集型任务优势 FPGA部署方式特点及限制

    FPGA可针对数据包步骤数量搭建同等数量流水线(流水线并行结构),数据包经多个流水线处理后可即时输出....
    发表于 08-10 10:19 197次 阅读

    NVIDIA发布2023财年第二季度初步财务报告

        第二季度初步核算收入为67.0亿美元,而展望为81.0亿美元     收入不及预期的主要原因....
    发表于 08-09 18:08 113次 阅读
    NVIDIA发布2023财年第二季度初步财务报告

    怎么使用ARM处理器上的GPU进行编程工作呢

    怎么使用ARM处理器上的GPU进行编程工作呢?有哪位大神可以解释一下 ...
    发表于 08-04 14:17 1717次 阅读

    请问大神如何使用RK3568的自带系统上的GPU呢

    请问大神如何使用RK3568的自带系统上的GPU呢?有什么方法吗 ...
    发表于 07-22 16:27 2353次 阅读

    华秋第八届硬创大赛携手NVIDIA初创加速计划,赋能企业发展

    中国硬件创新创客大赛始于2015年,由深圳华秋电子有限公司主办,至今已经成功举办七届,赛事范围覆盖华南、华东、华北三大地...
    发表于 07-11 11:28 3338次 阅读

    香橙派RK3399开发板OrangePi4 LTS在linux上的GPU测试说明

    1、Linux4.4 和 Linux5.10 Debian 系统 GPU 的测试说明 注意,Linux4.4 Debian10 和 Linux5.10 Debian11 系统使用的...
    发表于 06-22 20:17 16338次 阅读
    香橙派RK3399开发板OrangePi4 LTS在linux上的GPU测试说明

    请问在RK3399pro中间计算时能否调用GPU的一些现成数据库或函数来计算

    我在用RK3399pro的NPU做深度学习计算,使用了两个rknn模型进行推理,但是在这两个rknn模型之间需要进行一些中间计算(从第一...
    发表于 05-09 15:26 3838次 阅读

    tf代码为什么在rk3399上训练比没有gpu的电脑慢很多

    把tf代码从电脑上放到rk3399上运行训练,比电脑慢的很多很多,板子不是带有npu吗?是不是代码需要改动什么啊? ...
    发表于 04-22 16:23 8845次 阅读

    简单介绍下Arm Mali的GPU系列

    对于手机终端来说,GPU图像处理能力是衡量一台手机的性能标杆。首先,是UI流畅性,大家拿到手机都得先划来划去看下UI是否...
    发表于 04-12 11:01 5707次 阅读

    充分利用Arm NN进行GPU推理

    Arm拥有跨所有处理器的计算IP。而且,无论您要在GPU,CPU还是NPU上进行ML推理,都可以在一个通用框架下使用它们:...
    发表于 04-11 17:33 4428次 阅读

    介绍android下的OpenCL开发步骤

    1、介绍android下OpenCL开发 Firefly rk3288采用Mali-T764的GPU,该GPU支持OpeCL 1.1。下面一步一步介绍android...
    发表于 04-11 14:35 2979次 阅读

    英伟达DPU的过“芯”之处

    最近几年,经常关注科技圈的朋友们总会发现,每次遇到厂商有重大发布,就总能看到“颠覆”、“极致”、“革命性”等概念出现在发...
    发表于 03-29 14:42 3116次 阅读