SIGGRAPH主题演讲：NVIDIA首席执行官带来生成式AI多项创新

在生成式AI继续席卷日益数字化和互联化的世界之际，NVIDIA创始人兼首席执行官黄仁勋重返全球知名的计算机图形大会 SIGGRAPH舞台。

“生成式AI时代和AI的iPhone时刻已经到来”，黄仁勋在SIGGRAPH现场向数千名观众发表了主题演讲，并通过直播分享给全球观众。

黄仁勋发布了GH200 Grace Hopper 超级芯片平台和一个名为NVIDIA AI Workbench的全新统一工作空间，以简化NVIDIA AI平台上模型的调节和部署。此外，他宣布将对NVIDIA Omniverse进行重大升级，加入对生成式AI和 OpenUSD的支持。

这些发布旨在将过去十年所有的创新结合在一起，其中包括人工智能、虚拟世界、加速、模拟、协作等创新与技术。

黄仁勋表示：“计算机图形学和 AI 密不可分，图形学需要 AI，AI 也需要图形学。”他解释说，AI 将在虚拟世界中学习技能，于此同时，AI 也可以用于创建虚拟世界。

AI和实时图形的基础

黄仁勋表示，“五年前在 SIGGRAPH 上，NVIDIA 将 AI 和实时光线追踪引入 GPU ，从此颠覆了计算机图形。不仅如此，在 NVIDIA 通过 AI 重塑计算机图形的同时，也致力于为 AI 重塑 GPU。”

这些努力换来的成果是越来越强大的系统。例如 NVIDIA HGX H100，它利用 8 个 GPU 和总共 1 万亿个晶体管来实现加速计算，超越基于CPU的系统 。

“这就是全球数据中心迅速转向加速计算的原因，”黄仁勋告诉观众。 “买得越多，省得越多。”

为了延续 AI 的发展势头，NVIDIA 打造了 Grace Hopper 超级芯片NVIDIA GH200，该芯片结合了 72 核 Grace CPU 和 Hopper GPU，并已于 5 月全面投产。

黄仁勋介绍说，已经投产的 NVIDIA GH200 将补充一个配备领先 HBM3e 内存的附加版本。

黄仁勋宣布推出新一代 GH200 Grace Hopper 超级芯片，它能够连接多个 GPU，以实现卓越的性能和易于扩展的服务器设计。

专为处理世界上复杂的生成式工作负载而构建的新平台，将提供多种配置，其中涵盖大型语言模型、推荐系统和矢量数据库等。

与当前一代产品相比，双配置的内存容量增加了 3.5 倍，带宽增加了 3 倍，包括一台具有 144 个 Arm Neoverse 核心、8 petaflops 的 AI 性能和 282 GB 最新 HBM3e 内存技术的单服务器。

领先的系统制造商预计将在 2024 年第二季度交付基于该平台的系统。

NVIDIA 创始人兼首席执行官黄仁勋在SIGGRAPH 主题演讲的现场，座无虚席

NVIDIA AI Workbench加速自定义生成式AI的应用

为了加快全球企业对自定义生成式AI的应用，黄仁勋发布了NVIDIA AI Workbench。该平台为开发者提供了一个统一、易用的工作空间，使他们能够在个人电脑或工作站上快速创建、测试和微调生成式AI模型，然后将这些模型扩展到几乎所有数据中心、公有云或 NVIDIA DGX Cloud。


AI Workbench 大大降低了企业AI项目的门槛。开发者通过在本地系统上运行的简单界面，就可以使用自定义数据对来自 Hugging Face、GitHub 和 NGC 等常见资源库的模型进行微调，然后在多个平台上轻松共享。


虽然目前有成千上万的预训练模型可用，但使用许多现有的开源工具自定义这些模型依然十分困难且耗时。

黄仁勋表示：“为了使这种能力更加普及，我们必须使其能够在几乎任何地方运行。”

借助AI Workbench，开发者只需点击几下就能自定义和运行生成式AI。开发者可以将所有必要的企业级模型、框架、SDK 和库整合到一个统一的开发者工作空间中。

“有了 AI Workbench，任何人都可以做到这些。”黄仁勋说道。

包括戴尔科技、慧与、惠普、 Lambda、联想和超微在内的领先AI基础架构提供商正在使用AI Workbench，在本地设备等开发者想要工作的任何地点提供企业级生成式AI功能。

黄仁勋还宣布NVIDIA将与初创企业Hugging Face一起为数百万开发者提供生成式AI超级计算，帮助他们构建大型语言模型等高级AI应用。


开发者将能够使用Hugging Face 平台内的NVIDIA DGX Cloud AI 超级计算训练和调整高级 AI 模型。

黄仁勋表示，“这将是一项全新的服务，将世界上顶尖的AI社区与顶尖的训练和基础设施连接起来。”

在视频展示中，黄仁勋演示了 AI Workbench 和 ChatUSD 如何将这一切结合在一起：用户在 GeForce RTX 4090 笔记本电脑上启动项目，随着项目变得复杂，可以轻松地将项目扩展到工作站，亦或者是数据中心。

使用 Jupyter Notebook，用户可以训练模型使其生成 Toy Jensen 的太空图片。因为模型从未见过Toy Jensen，如果此时模型提供的结果不理想，用户可以使用 Toy Jensen 的八张图像微调模型，然后再次训练它以获得更准确的结果。

最终，通过 AI Workbench，可以将新模型部署到企业应用程序中。

全新NVIDIA Enterprise 4.0 推进AI部署

为进一步加快生成式AI的应用，NVIDIA发布了企业软件套件的最新版本 —— NVIDIA AI Enterprise 4.0。

NVIDIA AI Enterprise为企业提供采用生成式AI所需的工具，同时带来了大规模企业部署所需的安全性和API稳定性。

Omniverse 的重大升级：加入对生成式AI和 OpenUSD的支持以实现工业数字化

黄仁勋发布了 NVIDIA Omniverse 的重要更新，这是一个 OpenUSD 原生开发平台，用于跨工具构建、模拟和协作，为开发人员和企业提供新的基础应用程序和服务，以利用 OpenUSD 框架和生成式 AI 优化和增强他们的 3D 流程和虚拟世界。


他还宣布了 NVIDIA 对 OpenUSD 的贡献，OpenUSD 是用于描述、模拟和跨 3D 工具协作的框架和通用流通平台。

Omniverse 平台的更新包括 Omniverse Kit（用于开发原生 OpenUSD 应用和扩展程序的引擎）以及 NVIDIA Omniverse Audio2Face 基础应用和空间计算功能的升级。

Cesium、Convai、Move AI、SideFX Houdini 和 Wonder Dynamics 现已通过 OpenUSD 与 Omniverse 相连。

Adobe 和NVIDIA 宣布计划将在Omniverse为用户提供 Adobe Firefly（Adobe的创作生成式AI模型系列）的 API 接口，以扩大双方在 Adobe Substance 3D、生成式AI和 OpenUSD项目方面的合作。


Omniverse 用户现在可以构建与其他基于 OpenUSD 的空间计算平台（例如 ARKit 和 RealityKit）兼容的内容、体验和应用程序。

黄仁勋宣布将为开发者和企业提供种类广泛的框架、资源和服务，以加快通用场景描述（即OpenUSD）的应用，包括地理空间数据模型、指标组装和模拟就绪（或 SimReady）、OpenUSD 规格等。

黄仁勋还发布了四款NVIDIA打造的全新Omniverse Cloud API，使开发者能够更加流畅地实施和部署OpenUSD流程和应用。
· ChatUSD：它是一个大语言模型 (LLM) 代理，可帮助开发人员和艺术家处理 OpenUSD 数据和场景，用于从文本生成 Python-USD 代码脚本并回答USD知识问题。
· RunUSD：一个云API，通过检查上传文件与 OpenUSD 版本的兼容性，将 OpenUSD 文件转换为全路径追踪渲染图像，并使用 Omniverse Cloud 生成渲染图像。
· DeepSearch： 一个LLM 代理，可在海量无标记资产数据库中进行快速语义搜索。
· USD-GDN Publisher：一项一键式服务，使企业和软件制造商能够从基于 Omniverse 的应用程序（例如 USD Composer）向 Omniverse Cloud图形交付网络 (GDN) 发布高保真、基于 OpenUSD 的体验，并实时流式传输到网络浏览器和移动设备。

上周，NVIDIA 宣布与皮克斯、Adobe、苹果和 Autodesk 共同创立 OpenUSD 联盟。

强大的新型台式电脑系统和服务器

黄仁勋表示NVIDIA和全球工作站厂商将发布性能强大的全新RTX工作站，为生成式AI和数字化时代的开发和内容创建提供更强大的算力。

来自BOXX、戴尔科技、惠普和联想等厂商的这些系统配备NVIDIA RTX 6000 Ada GPU以及 NVIDIA AI Enterprise和NVIDIA Omniverse Enterprise软件。

NVIDIA还发布了三款全新的桌面工作站基于Ada架构的GPU —— NVIDIA RTX 5000、RTX 4500和 RTX 4000，为全球专业人员提供最新的AI、图形和实时渲染技术。

黄仁勋还详细介绍了NVIDIA如何与全球数据中心系统厂商一起通过搭载全新NVIDIA OVX继续大力推动生成式 AI 和工业数字化的发展。NVIDIA OVX 基于功能强大的通用数据中心处理器NVIDIA L40S GPU 打造而成。

这些性能强大的新系统将利用NVIDIA Omniverse平台加速高计算密集度的复杂应用，包括AI训练和推理、3D设计和可视化、视频处理、工业数字化等。

NVIDIA研究带来新的创新

NVIDIA研究人员将在SIGGRAPH的实时现场活动上展示一种生成式AI工作流程，帮助艺术家使用文本或图像提示更快生成自定义纹理材质和进行更加精密的创作控制，从而快速创建并迭代 3D 场景的材质。

NVIDIA研究部门还演示了AI如何通过全新 3D 功能将视频会议的质量提升到新的水平。此外，NVIDIA最近发表了一篇论文，阐述AI如何利用最少的捕捉设备支持3D视频会议系统。

Maxine的生产版本现已在NVIDIA Enterprise中推出。专业人员和创作者即便使用普通的麦克风和网络摄像头，也能够利用AI的强大功能创造出高质量的音频和视频效果。