创建一个音乐世界 - “Shapesong”是什么？如何利用CPU制作沉浸式VR环境

3. 创建一个音乐世界

虚拟现实要求的帧率达到90fps，或者说每帧11毫秒。与之相比，传统体验的帧率为30FPS，而且在特定位置低于30FPS也不会造成重大影响。但虚拟现实却非如此。VR实际上需要渲染两个版本的场景，一个左眼一个右眼。尽管要求存在一定的例外，而且存在可以利用的辅助技巧，但毫无疑问的是VR对计算的要求十分严格。

我们为“Shapesong”设计了一系列特定的功能，而这对VR系统提出了更加严格的性能要求。从技术的角度来看，“Shapesong”是数字音频工作站 （DAW） 和游戏在虚拟环境中的结合。这三者均对CPU提出了巨大的计算负担。下面我们不妨来看看“Shapesong”中完全依赖于CPU性能的部分。

3.1 音频处理

作为一款音乐游戏，“Shapesong”需要处理大量的音频。除了对环境，玩家和UI声音进行基准渲染以外，我们还会在不同时间段播放与乐器相关的声音。事实上，多个乐器的平均音频处理负载是基准（只演奏一件乐器时）的20倍。

这是乐器的幕后工作原理。如果你希望在乐器上演奏一个声音（或者说一个音符），你需要播放这个音符的音频片段。从某些方面来说，完整的钢琴包含88个可以在特定时间内弹奏的不同琴键（或者说音符）。如果你在“Shapesong”中弹奏类似的虚拟乐器，你最多可以同时播放88个不同的音频片段。然而，这是假设了每个音符在同一时间段只弹奏一个活动音符（或者说声音），但对“Shapesong”而言情况并不总是如此。

除了基于音频片段的乐器演奏方法外，我们还可以通过另一种方法来演奏乐器：声音合成。但声音合成不能代替采样（sample），而且这需要独特的处理负载。我们希望“Shapesong”能够支持两种方法，从而在弹奏音乐时可以实现最大的灵活性。

3.2 环境效果

我在上文已经提到，我们希望在“Shapesong”中实现视觉和音乐表演的结合，从而实现全新的音乐体验。所以，播放的音乐需要与环境中的视觉效果保持同步。

大多数人认为游戏或体验中的所有图形都是由GPU渲染，但实际上CPU图形渲染管道上扮演十分重要的角色，因为绘制调用是由CPU所执行。绘制调用本质上是指CPU确定图形任务并将其发送到GPU的过程。总的来说，当存在需要绘制到屏幕的独特任务时，系统将需要CPU执行绘制调用。

在Unity中，“Shapesong”引擎和绘制调用在一个名为“批量处理”的流程中得到了优化。批量处理采集相似的绘制调用，将它们聚集到单个调用，然后再发送至GPU，这能够极大地节省计算时间。但Unity只有在特定条件下才会对调用执行批量处理，而其中一个条件是所有对象都共享相同的材料。另一个条件则是批量处理对象必须全部静止，不能够改变位置或以任何方式运动。对于静态环境而言（比方说共享相同材料的200棵树），批量处理的效果非常优秀。但如果你希望每一颗树都对玩家输入或音乐演奏产生独特的响应，批量处理将无法起到相同的作用。

无论虚拟世界是否需要响应音乐，这对创建栩栩如生的虚拟世界而言提出了巨大的挑战。如果无法移动或改变某个场景中的对象，我们应该如何令这个场景变得栩栩如生呢？现实情况是，你不得不权衡需要进行生动演示的部分，而且在实现方式上发挥自己的创意（这也是游戏开发所普遍面临的一个长期问题）。正如我在前文所说，传统体验和下一代体验的区别在于用户的期待。

3.3 物理对象

要实现一个栩栩如生的虚拟世界，我们不仅需要在环境中添加动画，我们还要根据大家早已习以为常的物理定律来设计动画。事实上，你甚至可以认为当前的VR系统不是真正的VR系统，它们只是叠加了一层虚拟世界的增强虚拟。为什么这么说呢？因为尽管在VR中看到了虚拟环境，但我们依然站在物理世界中，受所有物理世界的自然规律所束缚。重点是，如果你希望创建一个无缝的自然体验，同时不破坏这种幻觉，你将需要确保虚拟世界的物理与现实世界相匹配。

我们希望在“Shapesong”中创建一种自然的体验，能够支持用户利用环境中的对象进行演奏，并以此来探索音乐环境。例如，当用户捡起一块石头并在池塘上打水漂时，我们希望石头滑过水面时会播放音符；或者说当用户往下拍球时，球体下落时会出现音高的变化。这样做的目的是，以一种不令人胆怯的方式来鼓励非专业人士进行音乐探索。

尽管在游戏引擎中启用物理并非是难于登天，但成本极其高昂，对CPU资源的消耗也十分可观。物理系统不仅需要逐帧计算受物理约束的对象的新位置，同时还需要检测对象与其余环境的接触。随着这种物理支持的对象和相接触对象的数量增多，成本也将随之增加。

3.4 表演录制

令“Shapesong”与众不同的一点是，用户可以自行录制表演。我们希望表演录制能够充分利用VR及其运行系统的功能。以往在通过数字音频工作站录制音乐时，你只能捕捉弹奏的音符，系统不能捕捉手指演奏琴键的动作，也无法捕捉头部的摆动。但音乐的重点不仅只是你所弹奏的音符，你所弹奏的方式同样是十分重要的组成部分。

我们记录了用户的所有输入，并将它们制作成一段可以通过虚拟化身实现的动画。当用户录制一次表演的时候，他们基本上是克隆自己在特定时间段内的活动。对于弹奏乐器，这意味着克隆你在演奏音乐时的一切行为。对于其他，这意味着克隆你与环境的交互，你的跳舞，或者仅仅只是打招呼这一动作。

尽管录制一场表演不会消耗太多的资源，但播放表演却会恰恰相反，尤其在以表演规模进行播放时。例如，一首歌的某一节中可能同时弹奏了四种或五种乐器，而这期间可能同时包含一定的视觉表演，如跳舞或与环境中对象进行交互。因此，用户在典型演奏中的任意时刻可能会播放10个或以上的演奏录制。每一个角色都有三个部分需要录制：左手，右手和头部。我们同时追踪了角色所握持的对象，以及这些对象的状态。在典型环境中，播放的对象或属性总计至少有100个，而每一帧都需要对它们进行处理。