GTC23 | 锁定网易瑶台 AIGC-3D 技术分享精彩演讲

随着 Web 3.0 的发展，以及 3D 内容行业应用与消费需求的日益增长，2D 向 3D 内容的升维是大势所趋。作为游戏、元宇宙以及数字孪生持续发展的基石，3D 内容生产力至关重要。

AIGC（AI Generated Content），基于 AI 技术进行图文、视频乃至 3D 模型的泛内容生成，正在引发 Web 3.0 时代的技术浪潮，引领着 3D 内容生产方式变革。通过图片、视频、点云等多模态数据自动生成 3D 内容，快速实现现实场景的数字化，成为当前理论研究和行业实践的重大命题。

网易瑶台是网易伏羲旗下新一代沉浸式活动平台，致力于用人工智能和科技创新打造数字空间新模式，对 3D 内容生产有着丰富的实践积累与持续需求。

在 NVIDIA 2023 春季 GTC 大会的 China AI Day 特别活动，网易伏羲视觉计算负责人李林橙将在 3 月 22 日下午 530 带来《NVIDIA CUDA 技术助力网易瑶台神经隐式曲面建模 20 倍加速》专题演讲，分享项目过程中的实践经验与心得。手机微信扫码或点击阅读原文即可直达注册页面。

//

NVIDIA CUDA 技术助力网易瑶台

神经隐式曲面建模 20 倍加速

演讲嘉宾：

李林橙，网易伏羲视觉计算负责人

会议代码：[SE52360]

演讲时间：3 月 22 日 5:00 PM

扫描二维码直达注册页面

图1 网易瑶台和河南文旅厅合作推出“元豫宙”

——河南省黄帝故里3D建模案例

（图片来源于网易瑶台）

如何快速、便捷、批量的建模数字化场景？

当前流程通常采用照片辅助人工建模的方式，将线下物体或者原画制作为 3D 模型，但该方式严重依赖建模师的经验与效率，整体制作周期长且成本高。

以 NeRF 为代表的神经渲染技术为 3D 内容生成提供了广阔想象空间。基于 AIGC-3D 神经渲染技术，让用户手机拍摄物体，自动快速数字化建模，不需要大量人工干预，能够应用于更广泛的 3D 内容生产。

神经渲染 3D 重建技术存在效率和精度无法兼顾的问题，难以满足实际应用。高质量的重建算法需要耗费很长时间，例如 NeRF 结合隐式曲面的 NeuS 算法可以重建出完整的 3D mesh，但需要 10 小时之久。而快速重建算法则精度较低，例如 NVIDIA instant-ngp 技术可分钟级快速合成高质量的 2D 视角，但导出的 Mesh 质量仍然受限。经典的多视角深度图融合技术也存在空洞问题。

‍ ‍‍

针对相关挑战，网易瑶台与 NVIDIA 合作，利用 NVIDIA instant-npg 中的 tiny-cuda-nn 技术，基于 NeRF 和隐式曲面的神经渲染重建算法并结合预训练 CasMVSNet 的 3D 点云先验，实现了业内先进的快速 3D 场景重建方案：

首先，使用 tiny-cuda-nn 网络优化，采用多尺度 hash 编码结合傅里叶编码、球谐编码以及高效 MLP 重构隐式曲面SDF网络，进行层数与隐层压缩。相比基准算法，同 batchsize 设置下，单次迭代加速 1.98 倍，总耗时降到 25 分钟左右。其次，使用多尺度与多视角训练策略，包括多尺度图像监督、单步多视角监督的训练策略等。最后，改进了 SDF 体渲染方法，通过视线与法线夹角来加权 SDF 场，使用预训练的 CasMVSNet 获取 3D 点云进行几何先验监督，提升了重建精度，加速了收敛过程。同时，在位姿估计、物体边框估计、2D 以及 3D 采样、纹理贴图等方面进行了多项技术与工程优化。

多个物体的多视角图像通过快速隐式曲面重建方案进行自动重建效果如下图，并可直接导入网易瑶台元宇宙空间。

在 NVIDIA 2023 春季 GTC 大会的 China AI Day 特别活动，网易伏羲视觉计算负责人李林橙将在 3 月 22 日下午 530 带来《NVIDIA CUDA 技术助力网易瑶台神经隐式曲面建模 20 倍加速》专题演讲，分享项目过程中的实践经验与心得。手机微信扫码或点击阅读原文即可直达演讲页面。

NVIDIA CUDA 技术助力网易瑶台

神经隐式曲面建模 20 倍加速

会议代码：[SE52360]

演讲时间：3 月 22 日 5:00 PM

演讲嘉宾：

李林橙，网易伏羲视觉计算负责人

演讲概要：

网易瑶台提供大型的沉浸式会展服务。在与客户的沟通中我们了解到，客户期望将线下物体生成 3D 模型，导入瑶台，从而降低定制化制作的成本.

2020 年以来神经渲染 3D 建模技术快速发展，重建精度有了显著的提升，但耗时却限制了实际的应用。网易瑶台充分利用了 NVIDIA 的 tiny-cuda-nn 与 CUDA 渲染技术，对神经隐式曲面建模进行了 20 多倍加速，实现了高效、高质量的 3D mesh 重建。本场演讲将分享项目过程中的实践经验与心得。

扫描二维码直达注册页面

预约感兴趣的会议和座谈

想要预约以上精彩内容？成功注册 GTC23 后，搜索相关会议代码，如下图所示。例如：搜索 GTC23 专题演讲代码 [SE52360] ，点击“Add To Schedule”或右上角“五角星”即可将会议添加至日程，大会开始后登录即可观看会议。

欢迎加入 GTC23，交流、了解和帮助塑造未来发展趋势！点击即可查看 GTC23 注册教程！

扫描下方海报二维码，锁定 NVIDIA 创始人兼首席执行官黄仁勋的 GTC 主题演讲！北京时间 3 月 21 日 23:00 全球首播，3 月 22 日 10:00 中国重播。深度解读 NVIDIA 加速计算平台如何推动人工智能、元宇宙、云技术和可持续计算的下一波浪潮。加入 GTC23，切勿错过 AI 的决定性时刻！

---

原文标题：GTC23 | 锁定网易瑶台 AIGC-3D 技术分享精彩演讲

文章出处：【微信公众号：NVIDIA英伟达】欢迎添加关注！文章转载请注明出处。