还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

得心应手的AI:NVIDIA Research助力内容创作者使用3D物体进行即兴创作

来源:厂商供稿 作者:NVIDIA 2022-06-22 10:27 次阅读
可逆渲染流程 NVIDIA 3D MoMa 将于本周在新奥尔良举行的计算机视觉和模式识别会议 CVPR上亮相。

爵士乐的精髓在于即兴演奏, NVIDIA 正在通过 AI 研究向这一流派致敬。也许有一天,图形创作者可以使用快速创建出的 3D 物体,来一场即兴表演。

这个被称为“NVIDIA 3D MoMa”的方法可以让建筑师、设计师、概念艺术家和游戏开发者迅速将物体导入图形引擎,并开始对其进行处理——修改比例、改变材质或尝试不同的照明效果。

NVIDIA Research 在庆祝爵士乐及其发源地新奥尔良的视频中展示了这项技术。本周,关于 3D MoMa 的论文将在 CVPR 上发表。

基于 2D 图像创建 3D 物体

逆渲染是将一系列静态照片重建为 3D 物体或场景模型的技术。 NVIDIA 图形学研究副总裁 David Luebke 表示: “该技术长期以来一直是统一计算机视觉和计算机图形学的关键。”

他表示:“NVIDIA 3D MoMa 渲染流水线可以将逆渲染问题的每个部分表示为 GPU 加速的可微分组件,然后使用现代 AI 机器和 NVIDIA GPU 的原始算力快速生成 3D 物体,且创作者可以在现有工具中自由地导入、编辑和扩展这些物体。”

为了使艺术家或工程师能够充分利用 3D 物体,其形式应能够导入游戏引擎、 3D 建模器和电影渲染器等各种被广泛使用的工具。带有纹理、材质的三角网格形式,就是此类 3D 工具使用的通用语言。
角网格是用于定义 3D 图形和建模形状的基本框架

游戏工作室和其他创作者习惯于使用复杂的摄影测量技术来创建 3D 物体,这需要耗费大量的时间和精力。近期的神经辐射场(Neural Radiance Fields)研究可以快速生成物体或场景的 3D 模型,但并不是使用易于编辑的三角网格形式。

当在单个 NVIDIA Tensor Core GPU 上运行时, NVIDIA 3D MoMa 能在一个小时内生成三角网格模型。该流水线的输出结果与创作者现在使用的 3D 图形引擎和建模工具直接兼容。

流水线的重建功能包括 3D 网格模型、材质和照明。网格就像由三角形构建的 3D 形状混凝纸浆模型。有了它,开发者就可以依照自己的创意对物体进行修改。材质是叠加在 3D 网格上的 2D 纹理,就像人的皮肤一样。 NVIDIA 3D MoMa 通过对场景光线进行估算,使创作者能够在日后修改物体上的照明。

为虚拟爵士乐队调校乐器

为了展示 NVIDIA 3D MoMa 的功能, NVIDIA 的研究和创意团队首先从不同角度收集了五种爵士乐队乐器(小号、长号、萨克斯、架子鼓和单簧管)的约 100 张图片。

NVIDIA 3D MoMa 将 2D 图像重建为每种乐器的 3D 表示,并以网格形式呈现。然后, NVIDIA 团队将这些乐器从原始场景中取出,并将其导入 NVIDIA Omniverse 3D 模拟平台中进行编辑。

在任何传统图形引擎中,创作者都可以轻松为形状调换由 NVIDIA 3D MoMa 生成的材质,就像给网格穿上不同的衣服一样。例如该团队对小号模型采取了这种做法,将原来的塑料材质快速更换成黄金、大理石、木材或软木。

然后,创作者可以将新编辑的物体放入任何虚拟场景中。 NVIDIA 团队将这些乐器放入了经典的图形渲染质量测试康奈尔盒中。他们证明了虚拟乐器对光线的反应与在物理世界中完全一样:闪亮的铜管乐器反射出亮光,哑光的鼓皮则会吸收光线。

这些通过逆渲染生成的新物体可以作为复杂动画场景的构成要素。视频的最后展示了虚拟爵士乐队。

关于NVIDIA 3D MoMa的论文已于北京时间 6 月 23 日凌晨 2:30 分 CVPR 的分会场上发表。这是NVIDIA作者在本次会议上发表的38篇论文之一。进一步了解 NVIDIA Research 在 CVPR 上发布的内容。
  • NVIDIA
    +关注

    关注

    14

    文章

    2709

    浏览量

    95815
  • AI
    AI
    +关注

    关注

    85

    文章

    20442

    浏览量

    238959
  • 3D物体识别
    +关注

    关注

    0

    文章

    3

    浏览量

    6178
收藏 人收藏

    评论

    相关推荐

    使用NVIDIA CloudXR加快AECO工作流程

    数字化转型已扩展到建筑、工程、施工和运营行业(AECO)。最新的先进技术正在帮助 AECO 专业人员....
    的头像 NVIDIA英伟达 发表于 08-17 10:26 167次 阅读

    NVIDIA Omniverse实现多应用工作流程中的实时协作

    介绍使用 NVIDIA Omniverse 3D 模拟和协作平台推动艺术创作或设计流程的个人创作者和....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-17 10:24 109次 阅读

    DeepStream容器执行Python的开发操作

    前面一篇文章已经带着大家将 DeepStream 容器配置 Python 使用环境,本文的重点就是继....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-17 10:22 56次 阅读

    借助NVIDIA V100 GPU加速AI医学影像学研究

    锘崴科技是一家专业的隐私计算技术服务提供商,公司以锘崴信隐私保护计算平台为核心,开发了一整套自主、安....
    的头像 NVIDIA英伟达 发表于 08-17 10:19 310次 阅读

    星环科技一站式模型平台与华为Atlas 300I Pro推理卡完成兼容性适配

    近日,基于昇腾AI,星环信息科技(上海)股份有限公司的一站式模型生产应用平台 Sophon Auto....
    的头像 华为计算 发表于 08-17 10:15 142次 阅读

    BeagleBone AI-64带来AI和机器学习解决方案

    BeagleBone® AI-64 在开放式硬件单板 Linux 计算机方面取得了十多年的成功,将大....
    的头像 星星科技指导员 发表于 08-17 09:26 43次 阅读

    海康威视AI助手地铁运营更安全、检修更轻松

    早晨,你慌忙吃下一口早饭,飞奔冲向公交车站,坐下时背后已出了一层汗。而和你一起开始工作的,还有脚下的....
    的头像 海康威视 发表于 08-17 09:20 161次 阅读

    商汤科技亮相2022中国地理信息产业大会

    自然资源被称为遥感百业“之首”。然而,随着遥感影像数量的快速激增,解译能力供给不足的问题愈发凸显。A....
    的头像 商汤科技SenseTime 发表于 08-17 09:19 238次 阅读

    为高级图像处理和分析部署AI视觉套件

      e-con Systems 与 Qualcomm 合作推出的全新 qSmartAI80_CUQ6....
    的头像 星星科技指导员 发表于 08-17 09:15 47次 阅读

    瑞为入选国家级专精特新“小巨人”企业名单

    近期,工业和信息化部开展了第四批专精特新“小巨人”企业培育和第一批专精特新“小巨人” 企业复核工作。....
    发表于 08-16 18:24 87次 阅读

    记录在ubuntu上安装deepstream5.1的方法

    解压,将 TensorRT 库放到系统环境,然后安装 TensorRT python 接口。
    的头像 冬至配饺子 发表于 08-16 18:12 133次 阅读
    记录在ubuntu上安装deepstream5.1的方法

    NVIDIA GTC:黄仁勋将发布全新AI和元宇宙技术,大会将提供200多场由顶级技术专家和业务高管带来的会议、培训

    深度学习领域大咖 Yoshua Bengio 、 Geoff Hinton 和 Yann LeCun....
    发表于 08-16 16:31 74次 阅读
    NVIDIA GTC:黄仁勋将发布全新AI和元宇宙技术,大会将提供200多场由顶级技术专家和业务高管带来的会议、培训

    AI辅助诊断失智症与脸部情绪识别

    依失智症病程,可使用不同AI技术辅助病征的判定,在轻度认知障碍期(Mild Cognitive Im....
    的头像 DIGITIMES 发表于 08-16 15:30 237次 阅读

    踏歌智行荣登国家级专精特新“小巨人”名单

    近日,第四批国家级专精特新“小巨人”名单发布,踏歌智行成功上榜。“专精特新”是指专业化、精细化、特色....
    的头像 踏歌智行 发表于 08-16 14:17 122次 阅读

    考拉悠然的AI扬尘治理解决方案入选BPAA第二届应用算法实践典范TOP100

    8月13日,全球算法最佳实践典范大赛(BPAA)第二届应用算法实践典范TOP100榜单公布,考拉悠然....
    的头像 话说科技 发表于 08-16 13:30 357次 阅读
    考拉悠然的AI扬尘治理解决方案入选BPAA第二届应用算法实践典范TOP100

    使用TensorFlow Lite设计基于TPU的AI解决方案

      这不仅限于广告,年龄和性别检测还可以通过管理零售店的适当支持人员,人们更喜欢访问您的商店,企业的....
    的头像 星星科技指导员 发表于 08-16 11:44 57次 阅读
    使用TensorFlow Lite设计基于TPU的AI解决方案

    用神经处理单元集群改造边缘人工智能

      为了满足 AI 应用日益增长的性能和复杂需求,NXP NPU IP 内核提供了高性能、可扩展的实....
    的头像 星星科技指导员 发表于 08-16 11:41 66次 阅读
    用神经处理单元集群改造边缘人工智能

    思必驰智能语音报警器带来智能骑行新体验

    “方便、快捷、环保”的两轮电动车已成为上班通勤、城市配送、校园代步、休闲娱乐等短途出行场景的重要代步....
    的头像 思必驰 发表于 08-16 11:27 250次 阅读

    边缘设备中计算机视觉和语音的AI推理加速器应用

      SiFive 将 RISC-V 处理器 IP 引入其下一代 AI 推理加速器,为边缘设备中的计算....
    的头像 星星科技指导员 发表于 08-16 11:24 55次 阅读

    NVIDIA助力Telexistence在全家便利店部署补货机器人

    总部位于东京的初创企业 Telexistence 宣布将在日本数百家全家(FamilyMart)便利....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-16 09:26 127次 阅读

    NVIDIA BlueField-2 DPU为裸金属服务提供飞跃式性能提升

    UCloud 采用 NVIDIA BlueField-2 DPU 在公有云中提供裸金属服务,提供极致....
    的头像 NVIDIA英伟达 发表于 08-16 09:23 46次 阅读

    模型有助于实现最大的运营效率

      为了推动行动或结果,非结构化数据通过 DeepStream 等处理模型运行,从而产生结构化数据。....
    的头像 星星科技指导员 发表于 08-16 09:16 35次 阅读

    微软开源工具可轻松地测试和训练AI驱动的无人机

    Airtonomy成功的秘诀何在?答案就藏在微软7月在范堡罗国际航展(Farnborough Int....
    发表于 08-16 09:16 80次 阅读

    基于百度云的AI接口调用

    人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、....
    的头像 嵌入式技术 发表于 08-16 09:05 132次 阅读
    基于百度云的AI接口调用

    使用NVIDIA Modulus的Omniverse扩展可视化交互仿真

      NVIDIA Modulus 是一个物理机器学习平台,它将物理的力量与数据相结合,构建高保真、参....
    的头像 星星科技指导员 发表于 08-15 17:52 217次 阅读
    使用NVIDIA Modulus的Omniverse扩展可视化交互仿真

    边缘人工智能正在推动一个更安全、更智能的世界

      “有了 NVIDIA Fleet Command ,我们可以将我们的视觉应用程序从 POC 中的....
    的头像 星星科技指导员 发表于 08-15 17:35 285次 阅读

    为NVIDIA MLPerf Training v2.0性能提供动力的全堆栈优化

      NVIDIA MLPerf v2.0 提交基于经验证的 A100 Tensor Core GPU....
    的头像 星星科技指导员 发表于 08-15 16:43 120次 阅读
    为NVIDIA MLPerf Training v2.0性能提供动力的全堆栈优化

    改进企业IT欺诈预防

      提供支持欺诈预防和人工智能驱动的企业解决方案的企业级 IT 基础设施也是一项挑战。正确的产品组合....
    的头像 星星科技指导员 发表于 08-15 16:38 113次 阅读
    改进企业IT欺诈预防

    使用NVIDIA Merlin库构建基于会话的建议

      推荐系统可以帮助您发现新产品并做出明智的决策。然而,在许多依赖于推荐的领域,如电子商务、新闻和流....
    的头像 星星科技指导员 发表于 08-15 16:33 156次 阅读
    使用NVIDIA Merlin库构建基于会话的建议

    通过GPU内存访问调整提高应用程序性能

    在本文的所有代码示例中,大写变量都是编译时常量。 BLOCKDIMX 采用预定义变量 blockDi....
    的头像 星星科技指导员 发表于 08-15 16:24 104次 阅读

    通过NVIDIA Spectrum Ethernet的自适应路由加速网络

      将此技术与 NVIDIA ConnectX NIC 提供的 RoCE 无序支持相结合,应用程序对....
    的头像 星星科技指导员 发表于 08-15 16:00 74次 阅读
    通过NVIDIA Spectrum Ethernet的自适应路由加速网络

    使用Omniverse Replicator构建自定义合成数据生成管道

      在 NVIDIA, ISAAC Sim DRIVE Sim 团队利用 Omniverse Rep....
    的头像 星星科技指导员 发表于 08-15 15:53 45次 阅读
    使用Omniverse Replicator构建自定义合成数据生成管道

    加速计算是药物研发大众化的关键

      今天, GPU 正在加速计算机辅助药物发现工作流程的每一步,从目标阐明到 FDA 批准,在所有方....
    的头像 星星科技指导员 发表于 08-15 15:47 41次 阅读

    语音AI简介

      能够成功地将语音 AI 技术集成到其核心运营中的组织将具备良好的能力,能够根据尚未列出的用例扩展....
    的头像 星星科技指导员 发表于 08-15 15:44 108次 阅读
    语音AI简介

    使用NVIDIA Flare 2.1测试新型分布式应用程序

    NVIDIA FLARE v2.1 提供了一套强大的工具,使研究人员或开发人员能够将联合学习概念引入....
    的头像 星星科技指导员 发表于 08-15 15:27 58次 阅读
    使用NVIDIA Flare 2.1测试新型分布式应用程序

    使用NetDevOps实现网络现代化

      本系列介绍了优化数据中心网络的方法。第一种方法是通过 网络体系结构协议的现代化 。第二篇文章侧重....
    的头像 星星科技指导员 发表于 08-15 14:56 53次 阅读

    AI正在改变企业管理边缘应用程序的方式

      为了帮助企业快速起步,我们创建了 NVIDIA LaunchPad ,这是一个免费的程序,提供对....
    发表于 08-15 14:52 81次 阅读
    AI正在改变企业管理边缘应用程序的方式

    使用Clara Holoscan SDK增强AI医疗设备流式处理工作流

      NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系统....
    的头像 星星科技指导员 发表于 08-15 14:50 68次 阅读
    使用Clara Holoscan SDK增强AI医疗设备流式处理工作流

    使用ISAAC Sim加速AI机器人的开发、测试和培训

      在最新版本中,添加了一个名为 SceneBlox 的新 SDG 功能,以按程序生成场景。 Sce....
    的头像 星星科技指导员 发表于 08-15 14:34 45次 阅读

    商汤绝影联合临港捷运开展L4级自动驾驶小巴试乘体验活动

    方向盘自主转动,稳健穿梭各类复杂路况……在美丽的滴水湖畔,商汤的自动驾驶技术吸引了大量上海市民前来体....
    发表于 08-15 11:15 115次 阅读

    AutoAI在人工智能全生命周期中自动建模

    整个建模过程端到端的自动化可以显著节省资源。AutoAI显著提高了生产力,只需点击几下鼠标,即使是只....
    的头像 AI芯天下 发表于 08-15 11:08 76次 阅读

    定制处理器的设计挑战

    在最新的周期性发展热潮的刺激下,半导体行业进入了定制处理器的新黄金时代,但是这次“定制处理器”意味着....
    的头像 FPGA之家 发表于 08-15 09:04 75次 阅读

    油气站如何安全科学的实现降本增效

    这次的加油站油品注水事件,可算是严重的油气站安全事故。可能在卸油、巡检、作业、人员管理等多个环节都出....
    的头像 弘和人工智能 发表于 08-14 17:30 210次 阅读

    NVIDIA Isaac ROS GEM的功能特性

    NVIDIA Isaac ROS GEM 是一款基于硬件加速的软件包,可以让 ROS 开发者更轻松地....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 11:12 139次 阅读

    华秋第八届硬创大赛携手NVIDIA初创加速计划,赋能企业发展

    中国硬件创新创客大赛始于2015年,由深圳华秋电子有限公司主办,至今已经成功举办七届,赛事范围覆盖华南、华东、华北三大地...
    发表于 07-11 11:28 3439次 阅读

    Arm Neoverse NVIDIA Grace CPU 超级芯片:为人工智能的未来设定步伐

    人工智能 (AI) 将改变世界。但要实现其潜力,我们将不得不改变设计计算系统的方式。 诸如在云中训练神经网络或在边缘实时执...
    发表于 03-29 14:40 3069次 阅读

    JetsonNano的环境配置参考刷机教程

    首先要保证安装好NVIDIA驱动工具和CUDA以及Cudnn软件包(主机的环境配置在第七章中可以找到,JetsonNano的环境配置...
    发表于 12-21 08:22 734次 阅读

    NVIDIA Jetson介绍

    首发极术社区如对Arm相关技术感兴趣,欢迎私信 aijishu20加入技术微信群。分享内容NVIDIA Jetson是嵌入式计算平台,具有...
    发表于 12-14 08:05 1576次 阅读

    基于JetsoN Nano开发套件的开源智能车项目

    JetBot 项目是NVIDIA(英伟达)基于JetsoN Nano开发套件而设计的一款开源智能车项目, 为初步上手Jetson Nano,并渴...
    发表于 11-04 07:40 2877次 阅读

    JetsonNano™2GBDeveloperKit开箱测试

    2020年10月5号,英伟达(Nvidia)发布了Jetson Nano™ 2GB Developer Kit,Jeson平台再添一员,目前Jetson系列分层更加明确...
    发表于 11-04 07:05 1744次 阅读

    Nvidia/ARM交易,能怎样为下一个计算机时代创造主导的生态系统

    在过去的几周中,有许多关于Nvidia收购Arm的提议的报道。有关该消息的消息大多困扰着阿姆的现有所有者软银以310亿美元的价格收...
    发表于 09-07 09:49 1867次 阅读

    G-SYNC有什么作用

      什么是G-SYNC技术?   G-SYNC是NVIDIA的技术,可将显示器的刷新率与显卡的帧速率同步,以提高游戏性能。...
    发表于 06-22 10:58 5896次 阅读

    NVIDIA 在首个AI推理基准测试中大放异彩

    Turing GPU、Xavier芯片系统在MLPerf基准测试中展现了巨大优势 加利福尼亚州圣克拉拉市 —— 2019年11月6日 —— &...
    发表于 11-08 19:44 3221次 阅读
    NVIDIA 在首个AI推理基准测试中大放异彩

    半导体厂商和互联网巨头选择什么AI计算平台?

    不同厂商有不同的应用场景,而适合构架和解决方案也各不相同,如云侧和端侧处理构架的设计导向差别较大。对于半导体领域,只要市...
    发表于 08-09 07:40 2587次 阅读