不只是元宇宙，数字孪生还能解决5G难题

相信今年不少人都中了“虚拟老黄”的障眼法，让英伟达的Omniverse也迅速被视为元宇宙的开发平台之一。在今年举办的GTC 21开发者大会上，英伟达再度为Omniverse公布了一系列新工具和新特性，其中之一就是Omniverse Avatar（化身）。

黄仁勋Omniverse Avatar AI助手 / 英伟达

我们也都明白，英伟达CEO黄仁勋此前以假乱真的形象是花大力气生成的，在AR/VR中见到的虚拟形象很难有如此精细的建模，更别说根据自身形象量体裁衣了。而Omniverse Avatar并没有做到如此高的逼真度，仅仅是一个交互式的AI化身。通过语音识别、自然语言理解、推荐引擎和感知功能等技术完成智能交互，摆脱以往只闻其声不见其人或是2D的传统AI助手。

元宇宙的构想很美好，为社交和娱乐生活带来了无穷的可能性，但我们不可能无时无刻泡在元宇宙中，不然物质世界就乱成一锅粥了。既然无法突破物理桎梏，那么虚拟世界能否找到其他的反馈途径，解决现实生活中的实际问题呢？Omniverse同样注意到了这一点。

加速5G部署

5G网络的部署相当复杂，基站的位置并非随意选定，而是通过一系列的计算得到的结果。但在不断变化的复杂环境下，还是会有难以覆盖到的死角，还有不少参数需要搭建好后才能进行现场测试。那么Omniverse这类数字孪生构建工具，又是如何与5G部署扯上关系的呢？

在Omniverse中模拟基站信号 / 英伟达

爱立信就在5G网络部署上尝试了一种新的方式，通过Omniverse生成物理参数匹配的数字孪生城市，实时模拟和具象化波束成型和信号路径，在英伟达RTX加速的路径追踪渲染下，通过不同的颜色光线来确定信号的强弱和数据吞吐量等。借助这种新思路，网络工程师可以调整基站位置，放置移动的车辆等物体，更是可以借助Omniverse VR在虚拟世界中亲身见证，最终确定如何部署和配置基站才能达到最大的覆盖范围和最高的性能。

不少人可能会担心，让爱立信或者华为这种通信公司对每个城市都做精细建模，工作量是不是太大了？这确实是一个不可忽视的问题，但近期不少消息都证实了未来这种工作会更加轻松。比如韩国首尔就宣布打造城市元宇宙平台，不仅提供市政服务，也将为真实场景打造虚拟建模。未来网络部署时可以直接调用这些数据，完成基站测试。

自动驾驶与机器人的AI训练

大会上，英伟达还为Omniverse公布了另一项工具，Omniverse Replicator（复制器）。Replicator是一个强大的合成数据生成引擎，为深度神经网络（DNN）的训练提供物理模拟的合成数据。目前英伟达为该引擎公布了两项复制器应用，分别用于自动驾驶汽车模拟的Drive Sim和操作机器人模拟的Isaac Sim。

Drive Sim自动驾驶场景模拟 / 英伟达

这两个复制器可以让开发者自己搭建AI模型，填补现实世界的数据空缺，得出人类无法获知的实际结论。比如在自动驾驶模拟中需要考虑罕见的危险状况，而这些状况是无法在现实世界中安全复现的。这种真实数据的缺失使得自动驾驶DNN难以解决突发情况的问题，因为自动驾驶方案商很难对其进行真实的物理模拟。

而Drive Sim复制器充分利用了Omniverse的RTX路径追踪渲染，为摄像头、毫米波雷达或激光雷达生成物理数据，甚至还原了真实世界中的效果，比如LED频闪、动态模糊、激光雷达光速发散和多普勒效应等。英伟达也为自己刚发布DRIVE Hyperion 8自动驾驶工具包应用了这一技术，在交付之前就利用Drive Sim复制器生成的数百万张图片和拟真数据进行了训练，传感器安装好后就可以直接部署DNN，省去了几个月的开发时间。

这类问题在AMR自主移动机器人上也相当常见，目前多数AMR小车都是基于激光雷达的方案，但像叉车这一类的工具中，激光雷达可以检测到叉车底盘，却很难检测到叉具，如此一来机器人只实现了躲避了叉车底盘，却撞上了叉具。这时就需要用到DNN训练，让AMR感知到路径上的叉车。

Isaac Sim复制器生成的各种叉车 / 英伟达

引入数个不同的叉车通用场景描述（USD）模型后，Isaac Sim复制器可以为DNN生成描绘叉车的数据集，并通过数据随机化，比如改变颜色、材质、光线、相对视角等，让模型对叉车产生通识，最终生成叉车检测DNN。

小结

Omniverse之类的数字孪生技术可以说是实现元宇宙的第一步，却也开始应用于现实场景，甚至可能比元宇宙更早一步落地。我们将自己投射进虚拟世界中开展社交与娱乐，再把虚拟世界中所得拿出来完善生产工作，这可能才是元宇宙概念下最终的产品形态。