AI开启更逼真的游戏时代

本文编译自semiengineering

---

神经网络负责图形渲染，AI智能体指导玩法，而‘幻觉’则用于填补缺失的细节，让游戏世界更加完整。

随着处理性能和内存的大幅提升，以及数据传输速度的显著加快，电子游戏正在借助人工智能创造出越来越逼真的场景和交互体验。

GPU不再仅仅局限于图形渲染，如今已广泛应用于多种AI任务，包括生成更真实的非玩家角色（NPC）、动态世界、个性化玩法，以及关卡设计、内容生成和更精细的游戏机制。同时，系统也在利用机器学习工具，以更低的功耗执行诸如环境光遮蔽（ambient occlusion）之类的任务。

“过去玩家与游戏角色的互动主要是基于脚本的，”Imagination产品管理副总裁Kristof Beets表示。“你说一句，他们回一句，整个流程非常线性。现在借助AI的智能化，你可以和角色进行真正的对话。动画也因AI而有了显著提升。比如新的人形机器人是如何行走的？这是神经网络的功劳。同样的技术可以应用到游戏的物理和体验中。通过AI可以带来更多动态效果和更高的真实感。但这在很大程度上仍需要时间，因为越多的功能依赖AI，就意味着需要更多的计算资源。这始终是一种平衡。可以说正在出现一种持续的趋势：把过去依赖蛮力和高昂成本的方式，转化为借助神经网络实现的模糊近似解——效果足够好，而且非常有说服力。”

这种转变在很大程度上得益于GPU不再需要每次都逐像素计算。“多数游戏会进行预测性分析，基本上是预先计算接下来的处理步骤，” Arteris首席营销官Michal Siwinski表示。“这带来了巨大的功耗开销。”

为了抵消光线追踪等特效带来的高功耗（它能在游戏中生成逼真的阴影），业界引入了类似超分辨率（super resolution）的工具，其原理类似于AI网络的“幻觉”机制。“你问它一个问题，它会给出一个看似合理但并非真实的答案，” Beets解释道。“在AI助手中，你不希望出现幻觉，它不能凭空捏造。但在图形渲染中情况几乎相反。如果你想到图形渲染和细节补全，这正是你希望神经网络去做的。它能补全一些合理的细节。这是关键所在——通过低分辨率渲染，避免做全部光线追踪和高成本的计算，再用AI来填补空白。”

当然，AI也可能会出错，比如生成条纹图案，而真实图像中并不存在。“但如果它看起来合理，并且在时间上保持稳定，那么就是合格的，” Beets说道。“图形渲染中最难的就是时间稳定性。你不希望AI在每一帧都编造不同的内容，否则画面会闪烁和抖动。AI图形超分辨率其实早于我们今天看到的AI搜索引擎和助手的爆发式发展。”

帧生成（Frame Generation）是另一项正在快速发展的功能。“玩家玩游戏时，我们希望它能运行在60帧/秒（FPS），”Imagination产品与战略合作总监Tyrran Ferguson表示。“如果只有30帧/秒，虽然肉眼勉强能接受，但感觉像在拖泥带水。达到60帧或更高时，画面才会流畅和美观。帧生成的做法是在真实帧之间插入新帧，也就是‘伪造’画面，从30帧提升到60帧。这里同样会涉及幻觉问题。帧生成最早出现在桌面端，这是新兴技术。业界正在探索如何优化它，让玩家在帧与帧之间不会看到奇怪的画面，就像光线追踪最初也从桌面端开始一样。一旦玩家习惯了这种功能，就会希望在移动端或GPU资源极其有限的场景中也能使用。未来在移动设备上做帧生成只是时间问题。”

“过去很多效果，比如景深或环境光遮蔽，都是通过非常复杂的着色器程序来实现的，” Beets表示。“现在我们可以训练一个小得多的神经网络，以近似相同的质量完成任务，而且在数据流方面的开销要低得多。这就是NVIDIA所称的‘神经着色器（neural shaders）’，即开始让神经网络接手这类工作。”

---

为游戏任务设计芯片

要设计适用于游戏的GPU，工程师必须在架构阶段就深入理解存储器的吞吐需求。

“设计人员需要明确他们将使用何种存储器，以及该存储器的吞吐能力，”Cadence验证软件产品管理高级总监Matthew Graham表示。“我们必须确保系统设计能够充分利用这种吞吐。消费者花钱买了显卡或游戏主机上最快的存储器，我们就要确保芯片架构能发挥其最大效用。设计工具能够分析复杂算法，从PCI Express获取数据到图形核心，再到存储器——无论是用于图形的DDR，还是用于AI的HBM——然后回到核心进行处理，再回传到存储器，最后到接口等一系列过程。”

关键在于确保数据端到端的功能正确性和一致性，同时传输速度要恰到好处。Graham形象地比喻道：“这不像是把一枚硬币放进一个桶里，再把它取出来。而更像是把硬币切成50片，放进10个不同的桶，再取出来，还要保证能把硬币重新拼回去。这就是复杂系统的真实工作方式。比如一个4K视频帧，玩家希望以120Hz（每秒120次）刷新率运行，这就是海量的数据。你不可能一次处理完所有数据，而是要切分处理，同时确保一致性和数据完整性。”

光线追踪这类任务甚至可以在GPU内单独设置计算核心。Imagination产品与战略合作总监Tyrran Ferguson指出：“这样能把任务分开处理，当运行光线追踪工作负载时，就能通过GPU的独立部分更高效地完成。”

GPU工作负载的分配方式取决于具体应用场景。Imagination产品管理副总裁Kristof Beets解释说：“以游戏为例，一般先进行经典的图形渲染，再用AI进行超分辨率放大。这意味着GPU的算力分配会从100%用于经典渲染，转变为100%用于AI放大。这是一种基于时间的切片方式，能够自然适配更高级的用例——也就是把传统和AI技术深度融合。我们的重点是如何让这种方式更高效，如何在芯片内部共享和留存数据。任务交错是最有前景的方向。理论上你可以把GPU分成多个子单元，但最有效的方式还是给予客户完全的灵活性：想100%做AI，就可以这么用；想100%做经典渲染，也能这么用。”

Synaptics技术与创新副总裁Dave Garrett补充说，GPU完全有能力应对这两类任务。“一台手机SoC可以先快速浏览相册做人脸识别，然后立即切换到运行AI游戏或光线追踪。‘暗硅’（dark silicon）的概念在其中发挥重要作用。过去我们常为不同任务专门设计硬件，后来AI提供了一种可编程框架，数据变化就能带来不同结果，但底层引擎是相同的。”

ChipAgents创始工程师Daniel Rose则强调并行化和指令优化的重要性：“我们帮助AI加速器公司优化单颗GPU芯片的功耗利用率。当功耗更优化、面积更小，就能做出更强大的游戏芯片。在设计中，PPA（功耗、性能、面积）的取舍至关重要。”

未来，NPU（神经网络处理单元）也可能在游戏中承担更多AI/ML工作负载。Beets指出：“GPU的灵活性很强，现在已经能提供大量AI性能，但我们也在与NPU引擎深度协作。通常会在GPU和NPU之间加入一部分SRAM，这样它们就能在芯片内共享和交换数据，有助于降低功耗。虽然仍有大量数据需要传输，但这是两种处理单元协作的最佳方式。延迟尤为关键，你肯定不希望所有任务都绕过CPU和复杂的软件栈。”

不过，定制芯片在可访问性方面也面临挑战。Beets解释道：“这个领域非常分散，每家厂商都有不同的实现方式。但游戏需要生态系统支持。最初PC显卡市场有十几家厂商，各自使用不同的编程模型，结果大部分都被淘汰，只剩下少数几家巨头，因为生态无法支撑。AI也会经历类似的整合过程。尤其是AAA大作的开发成本极高，开发者不可能为不同平台重复投入。现在你能看到PlayStation、Xbox、PC和移动游戏之间已经有很多交集，桌面游戏正在向移动端迁移，移动厂商也在进入桌面市场。大家都在努力扩展生态，而AI正是关键。”

在性能方面，主机与掌机的挑战各不相同，原因在于硬件、功耗和设计上的差异。

Cadence Tensilica DSP产品管理与营销总监Amol Borkar表示：“主机注重原始性能，能提供4K画质、高帧率和光线追踪等高级特性，但需要强大的散热系统，功耗也很高。相比之下，掌机如Steam Deck和任天堂Switch则要在性能与便携性之间找到平衡，受到电池续航、散热管理和屏幕尺寸的限制。它们通常使用面向移动优化的芯片，并通过动态分辨率缩放来保证流畅体验。”

无论是移动端还是主机，功耗和存储都是关键。Rambus研究员兼首席发明家Steven Woo指出：“游戏的挑战在于为用户提供更加沉浸式的环境，提升真实感和情感共鸣。AI将助力实现这一目标，但同时会显著增加性能、功耗和散热需求。存储架构对AI至关重要，必须演进以支持更快的访问和更高的吞吐，同时不突破功耗预算。”

---

总结

电子游戏产业正在快速发展，扩展到世界的每一个角落和各种类型的设备。芯片创新将继续支撑玩家所追求的最新特性——在体验中获得尽可能高的保真度和尽可能低的延迟。

Baya Systems首席商务官Nandan Nayampally表示：“游戏始终与用户体验和计算效率的提升息息相关。因为你越能真实地还原物理和视觉效果，就越能避免在增强现实和虚拟现实中常见的眩晕感。这些就是正在发生的变化，而数据流动是其根本所在。真正推动这一切的，是沉浸式游戏，而这归根结底与形态有关，也就是进入各种设备的东西，而不仅仅是硅片性能。理想的情况是，任何交互都能变得更加自然和直观，而不是机械化。增强现实的第四波浪潮将是游戏找到其定位的地方。然后你再加入agentic AI，让它成为你的伙伴或对手。所以在游戏和agentic AI这两个方向，都有大量创新正在发生。

作者：LIZ ALLAN