使用NVIDIA Kaolin Wisp研究神经场

研究 神经场 近年来，它已成为计算机图形学和计算机视觉领域的一个日益热门的话题。通过使用将坐标作为输入并在该位置输出相应数据的神经网络，神经场可以表示形状、外观、运动和其他物理量等 3D 数据。

这些表示已被证明在生成建模和三维重建等各种应用中非常有用。 NVIDIA 项目，如： NGLOD， GANcraft， NeRF-Tex， EG3D， Instant-NGP 和 可变比特率神经场 ，正在以各种方式推进神经领域、计算机图形学和计算机视觉领域的最新技术。

研究挑战

神经领域的研究进展迅速，这意味着标准和软件往往落后。实现差异可能导致质量指标和性能的巨大差异。新项目的启动成本可能相当高，因为神经场的组成部分越来越复杂。研究小组之间的工作经常重复——例如，创建整个交互式应用程序来可视化神经场输出。

一个重要的里程碑是： NVIDIA Instant NGP ，由于其能够以近瞬间速度拟合各种信号，如神经辐射场（ NERF ）、符号距离场（ SDF ）和图像，最近吸引了研究界的广泛关注。由于其计算效率，它开启了实际应用和研究方向的新前沿。然而，由于高度专业化和优化的代码很难适应和扩展，这种计算效率也可能成为研究的障碍。

NVIDIA Kaolin Wisp

NVIDIA Kaolin Wisp 是一个快节奏、面向研究的神经领域库，旨在支持研究人员应对日益增长的学科挑战。它建在核心之上 Kaolin 库 功能，包括用于 3D 深度学习研究的更通用和稳定的组件。

Wisp 的目标是为神经领域的研究提供一个共同的核心库和框架。该库由可用于创建复杂神经场的模块化构建块和用于训练和可视化神经场的交互式应用程序组成。

图 1. NVIDIA Kaolin Wisp 交互式渲染的屏幕截图，显示了正在进行的神经场优化。摄像机和占用结构的占用状态在顶部可视化。右侧的属性检查器允许用户获取有关场景的更多信息并对其进行操作。

Wisp 没有提供具体的实现，而是为神经领域提供了构建块。该框架易于扩展用于研究目的，由模块化管道组成，其中每个管道组件可以轻松互换，为标准培训提供即插即用配置。

Wisp 的目标不是提供可用于生产的代码，而是快速交付新模块，保持这项技术的领先地位。它还提供了一组丰富的示例，展示了 Kaolin 核心框架以及［ZHK 七］核心如何用于加速研究。

NVIDIA Kaolin Wisp 功能亮点

Kaolin Wisp 使用基于 Python 的 API ，该 API 基于 PyTorch ，使用户能够快速开发项目。与许多其他基于 PyTorch 的公共项目兼容， Kaolin Wisp 可以轻松地使用基于 PyTorch / CUDA 的构建块进行自定义。

虽然 Wisp 旨在提高开发人员的速度而不是计算性能，但库中提供的构建块经过优化，可以在几分钟内训练神经领域，并以交互方式可视化它们。

Kaolin Wisp 用构建块填充，以混合匹配的方式组成神经场管道。值得注意的例子是要素网格，包括：

层次八叉树：来自 NGLOD 用于学习空间细分树上的特征。八叉树还支持光线跟踪操作，除了 SDF 外，还可以训练基于多视图图像的 NGLOD NeRF 变体。

三平面特征：用于 EG3D 和 卷积占用网络 学习三平面纹理贴图上的体积特征的论文。三平面还支持多分辨率金字塔结构中的多细节层次（ LOD ）。

代码本：来自 可变二元神经场 ，学习具有可微可学习密钥的压缩特征码本。

哈希网格：来自 即时 NGP 用于学习具有高性能内存访问的紧凑缓存友好特征码本的论文。

图 3. NVIDIA Kaolin Wisp 架构和构建块

NVIDIA Kaolin Wisp 与支持神经基元管道灵活渲染的交互式渲染器配对，如 NeRF 和神经 SDF 的变体。它允许集成新的表示。

OpenGL 风格的光栅化原语可以与神经表示混合并匹配，以添加更多数据层的可视化，如相机和占用结构。通过在 GUI 上支持可与培训和渲染交互的自定义小部件，它还允许轻松构建可定制的应用程序。

其他有用的功能包括属性查看器、优化控件、自定义输出渲染缓冲区和允许轻松操纵场景摄影机的摄影机对象。

关于作者

Nathan Horrocks 是 NVIDIA Research 的内容营销经理。他重点强调了 NVIDIA 实验室在世界各地进行的惊人研究。

审核编辑：郭婷