NVIDIA借助神经渲染技术为物理AI开发场景注入新活力

DiffusionRenderer 引入了一种神经渲染技术，可用于创意领域的内容生成和编辑，也可用于智能汽车和机器人开发的合成数据生成。

NVIDIA Research开发了一种视频 AI 光源开关，可将白天场景转为夜景，将阳光明媚的下午转为阴天，并可将刺眼的荧光灯调低为柔和自然照明。

这项名为 DiffusionRenderer 的技术是一项新型神经渲染技术，利用 AI 模拟现实世界光线变化。DiffusionRenderer 将两个传统上截然不同的过程（逆渲染和前向渲染）整合到一个统一的神经渲染引擎中，其性能优于最先进的方法。

DiffusionRenderer 提供了一个用于视频光照控制、编辑和合成数据增强的框架，成为创意行业和物理 AI 开发的强大工具。

广告、电影和游戏开发领域的创作者可以使用基于 DiffusionRenderer 的应用，在现实世界或 AI 生成的视频中添加、删除并编辑光照。物理 AI 开发者可以利用它在更多样化的照明条件下增强合成数据集，以训练机器人和智能汽车（AV）模型。

DiffusionRenderer 是 NVIDIA 发表于国际计算机视觉与模式识别会议（CVPR）的 60 多篇论文之一，本届大会于当地时间 6 月 11 日至 15 日在美国田纳西州举行。

打造令人愉悦的 AI

DiffusionRenderer 解决了仅使用 2D 视频数据对场景进行去光照和重新打光的挑战。

去光照是一个处理图像并消除其光照效果的过程，从而仅保留底层对象的几何图形和材质属性。重新打光则恰恰相反，该过程可以在场景中添加或编辑光线，同时保持物体透明度和镜面反射（表面反射光线的方式）等复杂属性的真实性。

经典的、基于物理学的渲染工作流需要 3D 几何数据来计算场景中的光线，以进行去光照和重新打光。而 DiffusionRenderer 使用 AI 来估算单个 2D 视频的属性，包括法线、金属度和粗糙度。

通过这些计算，DiffusionRenderer 能够生成新的阴影和反射、更改光源、编辑材质并将新对象插入场景，所有这些都能保持逼真的照明条件。

利用由 DiffusionRenderer 驱动的应用，智能汽车开发者可以获取大部分是白天驾驶镜头的数据集，并随机对每个视频片段的光照进行调整，以创建更多具有阴天或雨天、具有刺眼照明和阴影的夜晚以及夜间场景的视频片段。借助这些增强数据，开发者可以优化其开发工作流，对智能汽车模型进行训练、测试和验证，这些模型更具备应对苛刻照明条件的能力。

如果创作者需要捕捉用于数字角色创作或特效制作的内容，可以使用 DiffusionRenderer 增强用于早期构思和模型的工具，从而在采用昂贵的专用光照舞台系统捕捉制作质量的素材之前，探索并反复试验各种光照选项。

利用 NVIDIA Cosmos增强 DiffusionRenderer

自完成原始论文以来，DiffusionRenderer 的幕后研究团队已将他们的方法与 Cosmos Predict-1 进行了集成，后者是一套用于生成逼真、物理感知型未来世界状态的世界基础模型。

这样一来，研究人员观察到一种扩展效应，其中应用 Cosmos Predict 更大、更强的视频扩散模型相应提高了 DiffusionRenderer 的去光照和重新打光质量，实现了更清晰、更准确和时间上更一致的结果。

Cosmos Predict 是 NVIDIA Cosmos 的一部分，NVIDIA Cosmos 是一个由世界基础模型、Tokenizer、护栏和加速数据处理和管理工作流组成的平台，可加速用于物理 AI 开发的合成数据生成。

CVPR 上的 NVIDIA Research

在 CVPR 上，NVIDIA 研究人员展示了数十篇论文，主题涵盖汽车、医疗、机器人等领域。三篇 NVIDIA 论文荣获今年最佳论文奖提名：

FoundationStereo：该基础模型通过匹配立体图像中的像素，从 2D 图像中重建 3D 信息。该模型已在超过 100 万张图像的数据集上进行了训练，可处理现实世界数据，性能优于现有方法，并可跨领域通用。

Zero-Shot Monocular Scene Flow Estimation in the Wild：本论文是 NVIDIA 和布朗大学的研究人员通力合作的成果，介绍了一个用于预测场景流的通用模型，即 3D 环境中点的运动场。

Difix3D+：这篇论文由 NVIDIA 空间智能实验室的研究人员完成，介绍了一种图像扩散模型，可删除重建 3D 场景中新视点的伪影，从而提高 3D 呈现的整体质量。

NVIDIA 还在 CVPR 上荣获辅助驾驶国际挑战赛冠军，这标志着 NVIDIA 连续两年登顶端到端领域排行榜，并且连续三年在大会上荣获辅助驾驶国际挑战奖。

NVIDIA Research 在全球拥有数百名科学家和工程师，专注于 AI、计算机图形学、计算机视觉、智能汽车和机器人等领域的研究。