借助摄影测量方法以及GPU赋力的深度学习

借助摄影测量方法以及GPU赋力的深度学习，以虚拟形式探访陵墓的细节。

现在，游客无需越洋飞行就能探索纳菲尔塔莉墓的精致细节。

纳菲尔塔莉墓被誉为埃及最好的墓穴之一。主人纳菲尔塔莉被认为是拉美西斯二世五位妻子中最美丽的一位。拉美西斯二世为其建造的陵墓是纪念其美貌的圣地，陵墓中三间墓室和走廊墙壁都用彩饰进行装饰。

纳菲尔塔莉墓与王后谷中的大多数陵墓一样，在考古学家发现之前也曾遭到过盗墓。虽然已采取相应的保护措施，但景点仍然非常脆弱。

Simon Che de Boer及其位于新西兰的视觉特效研发公司realityvirtual.co找到了一种数字方式来保护纳菲尔塔莉墓，为无数人参观墓中景象提供了机会。

纳菲尔塔莉：永恒之旅（Nefertari: A Journey to Eternity）提供VR体验，通过高端摄影测量、视觉效果技术和AI，打造令人震撼的细节体验，使纳菲尔塔莉墓重现昔日辉煌。游客可以采用数字方式四处行走，从不同视角进行参观，还可以进行放大以近距离观察

对于需要跨越半个地球才能目睹这一景观的游客来说，这是一个效果逼真的替代选择。

使用NVIDIA Quadro GPU处理海量数据

为了复制陵墓精致的细节，Che de Boer拍摄了近4000张4200万像素的景点照片，然后将摄影测量（在照片中进行测量的科学）与深度学习方法结合，对其进行处理和可视化。

NVIDIA GPU在处理现场采集的大量摄影测量数据上发挥了关键作用，其处理速度比CPU快很多倍。

GPU也是进行3D重建和呈现细节纹理不可或缺的部分。通过借助部署高端NVIDIA Quadro GPU的强大HP工作站，realityvirtual.co使用CapturingReality将数据转换为密集的240亿3D点云，以进行初始创建。

初始清理工作则使用Autodesk MeshMixer和Maya完成。然后，他们使用内部专用流程完成改良工作并提高效率，包括填充孔、推断材料特性、去除噪点和清理人工痕迹。

Che de Boer 在陵墓内部拍摄图像

接下来，他们对这些庞大的数据集进行优化，以便在Unreal Engine中以每秒90帧的稳定速度进行实时渲染，利用Granite的纹理流保留全部240亿个细节点。

Che de Boer说：“由于数据集非常庞大，处理和播放速度是关键。NVIDIA的新架构与Unreal Engine相结合，加快了处理速度，并为处理庞大的数据量提供支持。”

AI助力创建更为逼真的VR

如果不去除陵墓中的现代人工痕迹，就不可能参观到“真正”的古墓。为了实现这一目标，realityvirtual.co收集了陵墓的所有压缩数据，并且使用可编程Tensor Core和单个高端NVIDIA Quadro GPU提供的24Gb VRAM容量训练其超级采样集。

通过训练计算机使其理解所看到的事物，计算机可以修改图像以清除现代人工痕迹。例如，通过图像修复方法去除出口标志、牌匾、扶手、地板和卤素灯，并使用与周边环境相关的元素取代这些区域。

为了覆盖图像中的缺口、清除不需要的元素或修复源摄影测量图像中的重叠区域，realityvirtual.co利用一种新的基于AI的图像修复方法（此方法由NVIDIA Research开发，并且即将通过NVIDIA NGX技术堆栈提供给软件开发者），使用周边环境的元素填充这些区域。

Che de Boer说：“如果没有高端NVIDIA Quadro提供的内存，处理4200万像素图像的数据是不可能的。我们在摄影测量和AI处理过程中广泛使用了NVIDIA CUDA cuDNN，且贯穿到我们创作的各个环节，以实现最为逼真的效果。这看起来非常震撼，您可以获得一种身临其境的感觉，如果我们将NVIDIA RTX实时光线追踪整合到未来的版本中，这种体验只会变得更好。”

更新的内部版本已通过realityvirtual.co的超级采样法运行。这是在他们自己的数据集上进行超级采样训练，进一步提高了最终纹理映射的细节水平。

无论参观者距离陵墓的现代人工痕迹有多近，都无法分辨得出它们。除此之外，最近越来越多的项目开始使用realityvirtual.co的deepPBR方法，以消除图像扩散、粗糙和位移。这对使用基于物理渲染的引擎（例如Unreal Engine）而言非常重要。

所有这些数据都是自行进行训练的，这是一个AI使用自身数据进行自我改进的好例子。此结果可用作教学模拟，并可在STEAM游戏平台免费获得，但是需要Vive、Rift或Windows VR头盔。

为了继续记录遗产并在未来对其进行数字保护，最近Che de Boer与来自洛桑联邦理工学院（EPFL，瑞士洛桑的一所著名的研究大学）的Sarah Kenderdine教授达成了战略合作关系。他们希望通过合作以虚拟形式重建新西兰的克赖斯特彻奇大教堂，重现它2011年遭到地震破坏之前的样子。此外，他们也在其他一些尚未公布但非常著名的自然景观上进行合作。

Che de Boer 表示：“这些都是知之者众而见之者寡的地方，我们的目标是让全世界的人都能参观这些景点，否则他们可能在有生之年都没有机会感受这些景点。”