探索NVIDIA AI和Omniverse加速设计创作

6 月 3 日下午，NVIDIA 以 “AI 和内容创作” 为主题，举办了2023 U 设计周 Uwin 产业分论坛。NVIDIA 为在座逾 800 位听众分享了如何使用 NVIDIA AI 和 Omniverse 加速设计创作。无论是物理模拟引擎、AI，还是 XR、云原生技术，都能融入 Omniverse 的工作流，进而助力创意设计、广告营销、游戏、企业服务等各个领域，通过 Omniverse 平台简化创建数字世界的工作流。

NVIDIA 全球副总裁刘念宁通过视频致辞，诚挚欢迎 U 设计周所有与会嘉宾和在线听众，并成功为 NVIDIA 分论坛揭开完美序幕。她指出，NVIDIA 作为一家全栈式 AI 计算平台的赋能者，与行业各界合作伙伴建立了长期深入的合作关系。结合合作伙伴丰富优质的生态和技术实力，以及 NVIDIA 在人工智能、图形图像等技术领域的赋能平台，从芯片、系统、数据中心到云服务，将 AI 引入各行各业，帮助企业在可持续发展，生成式 AI 以及数字转型的大趋势下乘风破浪、勇立潮头。

每个时代的设计美学都具有独特的风格，此时此刻，设计所插上的是 AI 的翅膀，NVIDIA 愿成为企业、开发者和创作者手中的画笔，共绘时代最美的篇章。

——刘念宁

NVIDIA Omniverse 中国区业务负责人何展带来「科技融合时代下的数字内容生产变革」的主题分享。他指出，历经 PC、互联网、移动互联网时代，我们正处于人工智能计算的新纪元，新计算时代会加速内容生产和生成。

面对这个时代的发展机遇，NVIDIA 带来的是 Omniverse 平台。NVIDIA Omniverse 是一个启用多 GPU 的开放式云原生平台，由 NVIDIA RTX 技术提供动力以支持实时协作，是专为虚拟协作和实时逼真模拟而打造的易于扩展的开放式平台。NVIDIA Omniverse 是连接世界上最大的工具生态系统，目前连接 220 个工具软件，下载量超过 30 万。

随后，何展介绍了 NVIDIA 在计算机视觉、计算机图形学、生成式 AI、工业数字孪生等领域的最新应用。比如，在计算机视觉层面，位于纽约的 AI 初创企业，同时也是奥斯卡最佳影片《瞬息全宇宙》的幕后制作公司 Runway，正使用 CV-CUDA 赋能其视频编辑和图像创建工具。在最新一代 NVIDIA GPU 的助力下，Runway 允许用户只需简单几笔即可从视频中移除一个对象，或仅使用一个输入图像就可以对视频应用不同样式的背景或者前景。过去使用传统工具需要数小时才能完成的工作，现在只需要短短几分钟就可以实现专业广播级的效果输出。

而在生成式 AI 层面，生成式 AI 正在改变视觉内容的创建方式，但要充分发挥其潜力，企业需要大量版权许可的数据、AI 专家与 AI 计算平台。NVIDIA 在 3 月 GTC 大会上推出了 NVIDIA Picasso 的 AI 云服务，专门用于帮助企业使用自身的专有数据，创建和部署生成式 AI 赋能的图像、视频与 3D 应用。企业可以将生成的素材导入编辑工具或 NVIDIA Omniverse，从而构建逼真的模拟世界元宇宙应用和数字孪生，同时简化自定义生成式 AI 应用所需的训练、优化和推理。

生成式 AI 将改变与颠覆包括影视、时尚、工业等多个行业的应用，从而带来 “全民化” 的 2D 和 3D 内容创建。

——何展

生成式 AI 是近期最火爆的话题之一。生成式 AI 的应用，从文本、音频到跨模态、策略生成等，在设计、内容创作、广告营销、游戏、企业服务等领域都陆续开始商业化应用。NVIDIA 资深解决方案架构师张玮东以「生成式 AI 行业案例介绍」为题，介绍了目前行业中比较领先的生成式 AI 应用案例，以及 NVIDIA 的各项能力对生成式 AI 的相关领域所提供的支撑。

在硬件层面，NVIDIA 新一代 GPU 采用全新的 Ada Lovelace 架构，配备包括 CUDA 的核心——流式多处理器（Streaming Multiprocessor）相关模块，用于加速 AI 训练和推理的第四代张量核心（Tensor Core）、支持实时光线追踪渲染的第三代光追核心（Ray Tracing Core），以及支持编解码加速的视频编解码引擎 NVENC/NVDEC，提供出色的效率、专业图形、AI 和计算性能。此外，NVIDIA 还提供基于新一代 RTX 技术的一系列专业视觉计算产品，如数据中心显卡与工作站显卡。目前，市场上超过 70 款热门 DCC 软件，如 Blender、Autodesk 等，均由 NVIDIA GPU 赋能的实时光线追踪技术以及加速技术作为底层支持。

随后，张玮东分享了生成式 AI 在图像生成、三维对象生成、文本和代码生成、多模态生成、声音与音乐生成、动作生成等多个领域的领先应用案例，比如借助 Stable Diffusion 用 AI 生成纹理和 PBR 材质交互编辑，借助 NVIDIA Instant NeRF（神经辐射场）将静态 2D 图像转换为 3D 场景创建，为与会观众带来震撼的视听体验。

关于生成式 AI 的发展机遇与挑战，我希望留个悬念，让大家去思考。期待各位在生成式 AI 发展的起点就深入进去，做得更好。

——张玮东

随后，NVIDIA 的特邀嘉宾、国际知名视觉设计艺术家、良胜数字联合创始人张大胜，带来「利用 NVIDIA Omniverse 打造数字世界」主题演讲，分享了如何使用利用 NVIDIA Omniverse 打造数字世界的经验。他表达了对于科技、设计的敬仰，以及对 Omniverse 的热爱，称之为 “让设计进化的药”，提供了无边无界的创意空间。

良胜数字一直主打电影级的数字特效设计，致力于打造全球领先的数字创意设计公司，同时也是NVIDIA 初创加速计划会员企业。目前，良胜数字的超写实数字人设计部通过 NVIDIA Omniverse Audio2Face 提供 AI 动力支持，音频生成面部表情动画，解决脸部动捕难点。在良胜数字，从 Blender 到 Maya、从 iCLONE 到 Unreal Engine，各种复杂的 3D 工作流都通过 NVIDIA Omniverse 实现充分的互操作性，让设计变得更高效、更美好。

人工智能和设计领域的交叉融合，是一个重要的趋势。NVIDIA 及其领先的 Omniverse 平台已成为我们在设计进程中不可或缺的工具，使得包括良胜数字在内的设计师可以更加高效、更具想象力地进行创作。希望更多的设计师能够运用这一工具，提高效率，创新设计，推动整个设计行业的进步发展。

——张大胜

基于 NVIDIA 基于 CUDA 和 TensorRT 加速的 Stable Diffusion，和 Transformer 架构的 ChatGPT 等生成式 AI 工具，正在变革设计工作模式。NVIDIA 解决方案架构师曹徐伟，带来了「从 NVIDIA Omniverse 3D 协同设计到 NVIDIA AI 工具创作运用」主题分享，探讨如何将 Diffusion 模型生成的内容与 NVIDIA Omniverse 相结合，以及 ChatGPT 自主式编程如何辅助传统的设计工作流。

AI 初学者如何开始第一步？曹徐伟通过 NVIDIA 赋能下整合多种技术的设计工作流示例，向与会听众分享了快速上手的实用经验技巧。比如，通过 NVIDIA 一个内部开发模块 NVSCAN，可以快速扫描人脸，生成点云；生成点云后，可以通过 MeshLab 工具扫描数字人；随后使用 MetaHuman 框架，将脸型拓扑过去，与数字人的身体网格匹配；最终，通过 NVIDIA Omniverse Audio2Face 生成面部动画。整个工作流非常适用于数字人初学者去使用。

面向生成式 AI 带来的机会，不要有过多的焦虑。引用创始人黄仁勋的话，不要走，要用跑的。我们很愿意辅助大家，在这个赛道上找到自己的价值和方向。

——曹徐伟

最后，NVIDIA XR 业务拓展及开发者关系经理毛萃带来以「四大支柱技术碰撞出的 XR 生态新范式」为题的分享。

无论是赋能用户的协作设计，还是利用数字世界帮助观众在虚实之间切换、互动，都离不开扩展现实（XR）所创造的逼真、沉浸式环境。在演讲中，毛萃先简单介绍了 XR 的相关概念——XR 包括虚拟现实 VR、增强现实 AR、以及混合现实 MR。谈到 XR 的发展历史，最早可以追溯到 1838 年。在 1968 年，第一款头戴虚拟现实设备 Sutherland 出现。2016 年前后，XR 开始走入大众视野。伴随着手机供应链的成熟、AI 技术的发展，以及计算机视觉技术的提升，XR 得到了飞跃式的发展。

随后，毛萃介绍了构建 XR 生态新范式的四大核心支柱技术：串流技术、AI技术、协作、以及高保真。

串流技术

借助 NVIDIA CloudXR SDK，用户可以通过 GPU 虚拟化软件充分利用 NVIDIA RTX 服务器的强大功能，通过云端串流技术以及网络传输，将制作好的 XR 内容传输到各种类型的 XR 设备上，打造精彩的增强现实和虚拟现实体验。今年三月，NVIDIA 新发布了 CloudXR 4.0 版本，带来了 CloudXR Server API、Unity 插件、通用手柄支持等新功能，允许开发者在应用程序和定制方案中集成 CloudXR 服务，而企业客户则可通过 CloudXR 4.0 来提升 AR/VR 能力，为 XR 部署带来更多灵活性和可扩展性。

协作与高保真

NVIDIA Omniverse XR 包含 AR 和 VR 两部分。一方面，通过在应用商店可下载的 Omniverse Streaming Client 应用，渲染后的光追场景串流到平板或者手机，以 AR 呈现。另一方面，作为首个全画幅、支持 VR 实时光线追踪的应用，工程师、设计师和创作者能在 VR 环境中查看、导航、审查和注释，控制灯光，操作 3D 物体等。NVIDIA Omniverse XR 不需要预处理或编译，VR 内部物体可以被重新定位和重新缩放，照明也可实时调整。

AI 技术

如何摆脱手柄，让解放双手的 XR 体验成为可能？从现场展示的 Project Mellon（甜瓜项目）上看到，NVIDIA 正通过使用自然语言语音指令创建 XR 体验。Project Mellon 是一个轻量级的 Python 软件包，能够利用强大的语音 AI（NVIDIA Riva）和 LLMs（NVIDIA NeMo 服务），简化沉浸式环境中的用户交互。NVIDIA 在 GTC 2023 上宣布，Project Mellon 现已支持开发者进行测试。语音输入会在对话框中以文字形式展现，对于操作人员来说，这意味着他不需要知道某个操作的实现需要如何操作界面，只需要通过自然语音来交互就可以。

生成式 AI 时代下 XR 的发展趋势

自发布以来，成千上万的开发者和内容创作者正在利用 NVIDIA Instant NeRF 构建令人惊叹的 3D 视觉效果。近日，NVIDIA 为这个渲染工具增加了虚拟现实支持，即 Instant NeRF in VR。换句话说，用户可以从静态图像渲染沉浸式场景，然后通过 VR 头显虚拟地进入环境，并在 3D 空间中自由移动。从现场视频演示中可以看到，一个快速重建的 3D 环境演示，其渲染的场景细节已经非常惊艳，相信在不久的将来，将有更多商业的应用与拓展。

串流技术、AI、协作、高保真，这是 NVIDIA 定义的影响 XR 发展的四个核心技术，它们相互融合承托，为构建 XR 生态新范式奠定基础。

——毛萃

U 设计周 X NVIDIA Omniverse 元宇宙设计大赛颁奖典礼也在现场举办，为此次专业论坛画上了圆满的句号。众多优秀的创作者和开发者在大赛期间将 NVIDIA Omniverse 融入其创作和开发工作流，让精彩创意落地。

6 月 1 日 – 4 日 U 设计周活动期间，NVIDIA 展区展示了涵盖软硬件、NVIDIA Research、行业产品和解决方案、客户案例、NVIDIA 初创加速计划（NVIDIA Inception）会员企业案例、互动演示七大版块，集中展示了 NVIDIA 全栈式 AI 解决方案以及 AI 研究、行业应用、生态企业的前沿成果。