0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员提出通过机器学习管道实现实时CG渲染

Dbwd_Imgtec 来源:新智元 作者:新智元 2021-05-10 10:19 次阅读

神经辐射场(NeRF)这一技术能够创建人工智能生成的三维环境和三维物体。但这种新的图像合成技术需要大量的训练时间,并且缺乏实现实时、高度响应接口的实现。然而,企业和学术界之为这一挑战提供了新的思路——新视图合成 (NVS)。

近日,一篇题为Neural Lumigraph Rendering的研究论文声称,它对现有的2个数量级图像进行了改进,展示了通过机器学习管道实现实时 CG 渲染的几个步骤。与以前的方法相比,神经光图渲染提供了更好的混合伪像分辨率,并改进了遮挡的处理。除了斯坦福大学(Stanford University)和全息显示技术公司 Raxium 的研究人员,这篇论文的贡献者还包括谷歌首席机器学习架构师、 Adobe 的计算机科学家,以及 StoryFile 的首席技术官。体积捕获的原理是拍摄主题的静态图像或视频,并使用机器学习来「填充」原始文档未涵盖的观点的想法。

上图取自 Facebook AI 的 2019 AI 研究 ,可以看出体积捕获的四个阶段:

多个摄像机获取图像/画面;

编码器/解码器架构(或其他架构)计算并连接视图的相关性;

射线行进算法计算空间中每个点的体素(或其他 XYZ 空间几何单位) ;

训练合成一个完整的实体,可以实时操作。

到目前为止,正是这种数据量大的训练阶段使得新视图合成超出了实时或高响应捕获的范畴。事实上,新视图合成制作了一个完整3D地图的体积空间,意味着它是把这些点缝合到一个传统的计算机生成的网格,有效地捕捉和连接一个实时CGI 角色。使用 NeRF 的方法依靠点云和深度图在捕获设备的稀疏视点之间生成插值。尽管 NeRF 能够计算网格,但大多数并不使用它来生成体积场景。相比之下,魏茨曼科学研究所(Weizmann Institute of Science)在2020年10月发布的隐式可区分渲染(IDR)方法,取决于利用从捕获数组自动生成的3D网格信息。虽然 NeRF 缺乏 IDR 的形状估计能力,IDR无法比拟的nerf的图像质量,而且两者都需要大量的资源来训练和整理。NLR的Custom相机装置具有16台GoPro HERO7和6台中央Back-Bone H7PRO相机。对于实时渲染,它们的最低运行速度为60fps。

相反,神经光图渲染利用 SIREN (正弦表示网络)将每种方法的优点整合到它自己的框架中,目的是生成直接可用于现有实时图形管道的输出。在过去一年中,SIREN 已被用于类似场景,现在是图像合成社区中业余爱好者 Colabs 的一个流行的 API 调用。然而,NLR 的创新是将 SIREN 应用于二维多视图图像监控。从阵列图像中提取 CG 网格后,通过 OpenGL 对网格进行栅格化,将网格的顶点位置映射到适当的像素点,然后计算各种贡献图的融合。结果得到的网格比 NeRF 的网格更加具有代表性,需要更少的计算,并且不会将过多的细节应用到不能从中受益的区域(如光滑的面部皮肤) 。

另一方面,NLR 还没有任何动态照明或重点照明的能力,输出仅限于阴影地图和其他照明时获得的信息。研究人员打算在未来的工作中解决这个问题。此外,论文承认由 NLR 生成的图形并不像一些替代方法那样精确,或者前面提到的魏茨曼科学研究。利用神经网络从一系列有限的照片中创建3D实体的想法早于 NeRF,而相关研究可以追溯到2007年或更早。在2019年,Facebook 的人工智能研究部门发表了一篇开创性的研究论文Neural volume: Learning Dynamic Renderable volume from Images),该论文首次为基于机器学习的体积捕获生成的合成人启用了响应界面。

原文标题:做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染

文章出处:【微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 人工智能
    +关注

    关注

    1773

    文章

    43373

    浏览量

    230139
  • 机器学习
    +关注

    关注

    66

    文章

    8062

    浏览量

    130442

原文标题:做出电影级的 CG 渲染!斯坦福大学研究人员提出神经光图渲染

文章出处:【微信号:Imgtec,微信公众号:Imagination Tech】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    揭秘:实时渲染、离线渲染、云渲染和混合渲染的区别

    遇到这些概念,或者一些3D渲染引擎产品的时候,可以按照这些渲染分类,去快速的进行定位和分析,更好的帮助我们理解和学习。一、实时渲染
    的头像 发表于 12-26 08:27 205次阅读
    揭秘:<b class='flag-5'>实时</b><b class='flag-5'>渲染</b>、离线<b class='flag-5'>渲染</b>、云<b class='flag-5'>渲染</b>和混合<b class='flag-5'>渲染</b>的区别

    研究人员创造一种六角形心电图贴片 实现遥感与数据传输功能

    导    语在《Applied Physics Reviews》期刊上,研究人员提出了一种新型可穿戴心电图贴片,旨在增强床旁诊断,检测心血管疾病并帮助评估整体心脏健康状况。该研究的重点在于利用有源
    的头像 发表于 12-13 16:44 210次阅读

    利用点量实时渲染打造元宇宙空间

    PRO头戴设备将人们对VR的关注推向了一个全新的高度。 通过点量的实时渲染服务,企业能够将在云端运行的应用画面实时推送到用户终端,并以可交互的视频流的形式呈现。无论用户使用何种设备
    的头像 发表于 12-08 13:39 178次阅读

    实时渲染助力VR虚拟现实迈向成熟

    ,并通过手柄或手势操作进行互动。 一、 VR虚拟现实技术 1、 3D图形渲染技术 这是虚拟现实技术中至关重要的组成部分,它能够高效地呈现虚拟世界中的物体和场景。3D图形
    的头像 发表于 12-08 13:38 161次阅读

    ROS机器人如何使用Navigation导航包实现实时定位

    本篇文章主要分析,常规的ROS机器人是如何使用Navigation导航包实现实时定位的,定位精度的决定性因素等内容,结构上分为详细介绍、概括总结、深入思考三大部分。
    的头像 发表于 12-03 11:00 1188次阅读
    ROS<b class='flag-5'>机器</b>人如何使用Navigation导航包<b class='flag-5'>实现实时</b>定位

    福利 | 3D动画上云渲染,助力CG提升视效

    ,其中不乏 3D渲染技术 —— 《阿凡达》是首个采用3D渲染技术的动画电影,将CG动画人物与实物表演相结合,开启电影的3D技术新时代。 《白蛇2:青蛇劫起》,采用了CG 3D动画技术,
    的头像 发表于 11-17 18:35 586次阅读
    福利 | 3D动画上云<b class='flag-5'>渲染</b>,助力<b class='flag-5'>CG</b>提升视效

    谷歌研究人员利用现有的耳机来测量心率

    谷歌的研究人员还发现,当音乐播放时,超声波方法效果很好,但它在嘈杂的环境中还可能存在问题,“APG信号有时会非常嘈杂,或可受到身体运动的严重干扰。”然而,他们发现,他们可以通过使用多个频率并找出其中最准确的信号来克服运动问题。
    的头像 发表于 11-09 16:32 313次阅读

    ICCV 2023:实现实时六自由度物体跟踪

    近年来,一些端到端学习方法被提出以增强六自由度物体定位的鲁棒性,包括:直接回归几何参数;采用渲染 - 比对来迭代地优化位姿。尽管基于学习的方法具有潜力,但是直接回归法精度有限、泛化能力
    的头像 发表于 10-16 17:13 328次阅读
    ICCV 2023:<b class='flag-5'>实现实时</b>六自由度物体跟踪

    人工智能和机器学习的区别有哪些

    人工智能和机器学习通常可以互换着使用,但是人工智能更加宽泛,人工智能由更多的技术所组成,机器学习是人工智能的一个分支。人工智能是指通过计算机
    的头像 发表于 08-25 08:23 1256次阅读
    人工智能和<b class='flag-5'>机器</b><b class='flag-5'>学习</b>的区别有哪些

    实时渲染在高校虚拟仿真教学中应用的优势和价值分析

    前言虚拟仿真教学系统在高校教育中广泛应用,通过计算机技术和虚拟现实技术来创建仿真的环境,模拟真实场景,使学生能够在虚拟化的环境中进行实验操作学习。这一创新的教学模式为学生们提供了更加身临其境的
    发表于 08-22 14:52

    如何将Unity着色器移植到通用渲染管道

    Unity中的通用渲染管道(URP)可在从移动到计算机的一系列平台上优化图形。URP在高端设备上生成高质量的图形,并在低端设备上优化性能。URP的其他优点在“什么是通用渲染管道? 在本
    发表于 08-02 13:39

    研究人员展示FeverPhone软件,利用手机温度传感器测量人体温度

    传感新品 【华盛顿大学:研究人员展示FeverPhone软件,利用手机温度传感器测量人体温度】 6 月 24 日消息,华盛顿大学的研究人员开发出了一款名为 FeverPhone 的软件,这个软件可以
    的头像 发表于 06-26 08:39 834次阅读
    <b class='flag-5'>研究人员</b>展示FeverPhone软件,利用手机温度传感器测量人体温度

    用于实时机器学习的流式传输优先基础架构

    实时机器学习是指通过机器学习模型提供实际数据来不断改进机器
    发表于 06-15 09:41 172次阅读

    昆虫的耳朵激发研究人员打造微型3D打印麦克风的设计灵感

    研究人员表示,昆虫的耳朵激发了研究人员打造微型3D打印麦克风的设计灵感,这种麦克风可以精确定位声音的方向,取代目前用于这种目的所需的体积更大、能量更大的设备。
    的头像 发表于 05-24 10:27 441次阅读

    研究人员研发可识别声音的材料 ,可应用于自动驾驶汽车传感器

    ‍‍ 传感新品 【研究人员研发可识别声音的材料 ,可应用于自动驾驶汽车传感器】 各种形式的模式识别,特别是机器学习,已经被广泛应用于各种现代技术。通过发现数据中的模式,
    的头像 发表于 05-05 15:21 249次阅读
    <b class='flag-5'>研究人员</b>研发可识别声音的材料 ,可应用于自动驾驶汽车传感器