新型数据知识驱动的元宇宙建模框架方案

作者：郑文博, 李强, 刘文礼, 费爱国, 王飞跃

元宇宙深沉浸、虚实相生的特性为作战建模的发展提供了新的技术，对此，提出了面向城市作战的一种新型的数据知识驱动的元宇宙建模框架。基于此框架，运用知识图谱、生成式对抗网络等相关理论和方法，探究元宇宙情景下的城市作战环境本体建模问题，设计了元宇宙城市作战模型的改进案例方案，以达到表现力好、扩展性强，并进行了相关定量实验验证。面向城市作战的元宇宙建模框架有望成为实现虚实融合的智能决策的新设计范式。

2021年被称为元宇宙元年，随着当年10月Facebook公司更名为“Meta”，“元宇宙”（Metaverse）这一概念被点燃和引爆，迅速引起世界各国的广泛关注。元宇宙概念最早来源于1992年美国科幻小说《雪崩》。但在上世纪90年代，钱学森先生就在书信中将虚拟现实（virtual reality）技术，称之为符合中国传统文化语境的“灵境”，“灵境”能够扩展人脑的感知，从而使人进入到前所未有的新空间，这一重要思考被认为是我国对元宇宙的思想启蒙雏形。从认知概念上讲，元宇宙是整合虚拟现实技术、人工智能技术、数字孪生技术等多种信息高新技术而诞生的新型智能运用和社会形态。

元宇宙时代的到来将带来一场“技术革命”，尤其是在实现身临其境的态势感知方面。之前的研究表明，继机械化、电气化、信息化、网络化之后，面向平行化技术的指挥与控制体系、理论、方法和技术，即5.0的平行指挥与控制，是未来技术的发展方向。其核心思路是虚实交互的ACP方法，通过物理实际环境与虚拟信息系统之间的虚实交互进行计算与数字化模拟来完成给定军事行动及目标，并能反馈实时效果，提升了作战能力与作战效果，这也暗合了孙子的“夫未战而庙算胜者，得算多也”的道理。沿着先前研究进行深入研究，本文聚焦“元宇宙”中的军事斗争或将产生的新作战形态与新样式。

随着现代化战争的发展，大规模陆海空作战可能将要成为不可及的未来。目前，世界局势以多点爆发的城市暴乱为主，也就是围绕城市争夺和城市巷战展开，例如俄乌之战下的基辅。城市化的不断发展也使得城市作战逐步成为现代战争的一种重要作战形式。本文利用人工智能技术，着眼于城市作战（urban warfare）这一作战形式进行探索，提出了一套新型的数据知识驱动的研究框架，其目的在于弥补现有建模表现力不足、扩展性不强的问题。并基于此框架，设计了针对问题的案例分析与实验设计，案例和实验说明了本框架的合理性与有效性。

 

1 相关工作与问题提出

元宇宙建模实际上是作战环境建模问题，它本质上是营造一个面向各类受训人员的、贴近实战的训练环境，能够对作战计划进行科学的模拟检验，能够对作战行动进行辅助决策，能够对作战环境建设、环境态势认知等进行预测与估计。美军充分认识到现代化战争对作战环境建模保障的迫切需求。自2004年以来，美军在理论上进入了以“数字为中心”的地理空间情报（geospatial intelligence，GEOINT）时代，摒弃了传统的纸质地图。值得注意的是，美军已经使用“元宇宙”的相关技术进行部队的合成训练；在2019年，美军启动高逼真度、高分辨率虚拟世界建设项目，为部队遂行全球作战任务打造更高质量的训练环境合成训练环境（synthesis environment training，SET），把作战环境建模为一个统一的“元宇宙”空间，使士兵和指挥作战人员实现多层级/多领域战术和指挥训练，通过逼近真实的作战环境中反复训练提升其作战能力。可见，研究面向“元宇宙”的作战环境建模是现代化战争的必要手段之一。但是当前元宇宙建模，还存在着以下两个缺陷：

1）元宇宙建模真实感不强

当前的元宇宙建模环境虽然拥有海量数据的场景建模，嵌入物理模型，模拟实时的光照和纹理，支持高精度碰撞检测，但真实感比较低，与真实物理环境差异较大，无法充分表现环境信息。

2）元宇宙建模扩展性不强

真实的物理环境是由海、陆、空及复杂的电磁环境构成的，而且千丝万缕的联系存在于各环境之间。这种复杂情景和联系毫无疑问地影响着作战人员及装备的作战性能。由于目前的环境本体建模是按照要素划分的，难以呈现各要内部之间的联系，也就更加难以建立科学的、可信的环境模型；任何区域的作战环境状态具有鲜明的时变性、动态性，这就要求作战环境模型不仅要了解作战环境的基本特征，还要能够作战人员协同编辑，并且可以科学预测其动态变化趋势，掌握其发展变化规律。换句话说，元宇宙建模需要可拓展和可编辑。

2 新型元宇宙框架的构建

如图1所示，先前的研究[5]提出了平行军事与ACP方法，其主要观点是构建虚拟系统，与现实系统一同虚实交互，进行推演计算与涌现演化。关键是交互的构造方式与演化方法。另一方面，知识在交互应用中起到了不可忽视的作用。“知识就是力量”，知识自动化的运用是传统空间中信息自动化的自然延伸与提高， 也是转向元宇宙空间的智能化的基础，进而实现能够动态变化、实时反馈的智能化元宇宙建模。据此，提出引入结构化知识，并建立为知识空间的表征，然后与元宇宙空间结合起来。深度学习、知识图谱、大数据等新兴技术是其技术的核心支持。从本质上讲，这种框架的基本思想是将结构化的人类知识构建为复杂系统的虚拟代理，并在此基础上进行定量的计算实验，以更有效地解决复杂问题。

图 1 平行智能与元宇宙

Fig. 1  Parallell Intelligence and Metaverse

由此，利用本体技术对针对元宇宙城市作战环境的数字资源中不同层次的概念、实体、关系等进行知识抽取，从而构建数字资源语义的作战环境模型。资源标引和实体或者事理关联构建是元宇宙城市作战模型的关键，也是利用数字资源实现元宇宙叙事的基础。元宇宙城市作战模型的构建要进行知识获取，针对不同结构的、不同来源的数据进行知识获取要有不同方法，但是无论哪种都需要从数据源中获取描述实体关系信息，构建三元组形式，需要对知识信息执行特定操作以提取出关键的数据信息；具体来说，要从数据源与第三方数据库中提取出知识实体、关系和属性，在此过程中要结合自动化和半自动化技术把这些提取内容以逻辑顺序的形式存储。其次，利用人工智能技术实现实体对齐、本体构建、知识表示与知识推理等一系列操作。

如图2所示，作战环境模型的总体部署框架包括基础数据层、知识建模层、知识计算层和智能应用层，如下：

1）基础数据层：它是元宇宙城市作战模型的数据基础，主要包括事件、地理信息、环境实体、气象、海洋、电磁、网络等基础数据，知识存储模态包括文本、图像、视频、音频、地图等。

2）知识建模层：它是元宇宙城市作战模型的核心计算引擎，主要实现由多源异构信息构造具有表现力的仿真模型和具有扩展性的多模态知识图谱（详细见第3节案例设计），能够实现自动的知识抽取、知识表示、知识关联和知识推理等。

3）知识计算层：它主要包括元宇宙作战建模的环境综合要素表达、可视分析和知识计算三个模块，能够实现环境影响模拟、知识推理、知识搜索、图计算等分析计算功能。

4）智能应用层：它主要是面向多种典型城市作战场景，实现城市作战环境信息的推理与关联分析等智能服务应用。

图2 数据知识驱动的城市作战元宇宙建模框架

Fig. 2 Data-knowledge-driven metaverse intelligence framework

3 案例设计

本文采用深度学习为主要研究手段，运用知识图谱、生成式对抗网络、“元宇宙”等相关理论和方法，结合提出的数据知识驱动的新型框架，针对以实现传统作战环境建模的表现力差、扩展性弱的现状进行一种改进，即案例分析：1）针对现有作战环境建模表现力不足的问题，利用生成式对抗网络来生成与扩充具有真实感的数据，以图像数据为例，结合人类的视觉信息的规律设计结构化知识模型；2）针对现有作战环境建模扩展性不强的问题，利用知识图谱的优良性能完成作战环境的本体描述，引入人类元认识的结构化元学习，设计元宇宙框架的知识模型协同编辑技术。

3.1基于生成式对抗网络的表现力改进设计

元宇宙城市作战建模的复杂性决定了城市元宇宙所在的虚实空间的数据具有高维、极其巨大空间，按现有深度学习技术对这样高维巨大空间进行表征和描述，所亟需的数据量远超想象。但有效数据样本不足和海量数据标注困难一直是元宇宙城市作战建模研究的瓶颈问题。获取这种数据的一种途径是通过积累历史数据，但由于历史数据往往难以获取且成本昂贵，所以很难展开系统的研究。另一种途径是通过仿真得到数据，但想要得到真实多样的样本，仍然非常困难。

2014年，人工智能领域知名专家古德菲勒提出一种新型生成式模型——生成式对抗网络，这种模型主要采用博弈思想和深度学习的技术来生成数据。生成式对抗网络，一般来说，是由两个神经网络组成，即生成器和判别器。生成器通过接受给定的输入，不断生成某一样本；判别器主要负责生成器的优化，随着时间的积累越来越详细地告知生成器怎样更新和迭代。换言之，生成器尝试不停生成新样本，判别器联动地判定样本是否真实。两者在此过程中都不断更新自身，直到完成博弈平衡，也就是假样本与真样本完全不可区分。在模拟作战环境方面，以图像信息为例，可将生成图像生成扩充为真实样式（内容、风格）图像，模拟真实光线，给定特定天气和特殊地点，从而生成与扩充各种虚拟作战环境数据。

但是，目前的生成式对抗网络技术用以生成与扩充数据并非没有不足。以图像信息为例，可以分为两类主流方法：特征级的生成式对抗网络方法（例如最大均值差、相关距离、对抗识别器精度），在没有任何标定目标样本的情况下，这些方法将会导致较高级别的深度表征的对齐可能无法模拟对于其他视觉任务至关重要的较低级的信息或者特征的改变；像素级的生成式对抗网络模型，如CycleGAN、DiscoGAN、UNIT、DRIT等，可以进行与特征的对齐相似的分布对齐。这类方法虽保留了自然场景中的局部内容，但没有考虑到视觉效果逼真设计，导致生成的图像看起来不真实。

图3 基于新型生成式对抗网络的生成与扩充技术

Fig. 3  A novel generation and expansion technology based on generative adversarial network

图4 受人类视觉系统启发的生成式对抗网络

Fig. 4 A novel generative adversarial network inspired by the human visual system

3.2基于知识图谱的扩展性改进设计

元宇宙环境面临环境要素维度多、装备类型多、对象目标多、对象对手多等问题，信息更加复杂。元宇宙城市建模主要通过地图、影像、各类信息平台等工具实现，在统一时空框架下，难以充分考虑多种环境要素的影响，例如对研究的武器装备对元宇宙建模性能的影响，需要充分考虑土质、地形、气象、电磁等多种要素，当前的地图、影像等产品多是单一要素（领域）环境数据，难以实现全域多维环境要素的综合影响分析；再如跨领域的元宇宙建模环境，需要关联地理空间信息、人工信息等多源要素进行综合分析。元宇宙环境在统一时空框架下难以实现非时空多源多模态信息的关联挖掘。作为本体描述技术的知识图谱可有效解决这些问题。

知识图谱是一种用图模型来描述知识和建模世界万物之间的关联关系的技术方法。这一概念由谷歌在2012年提出，它通过一个多关系图来表示现实世界中的实体和关系，基本单位是“实体-关系-实体”，图结构中实体的关键值与属性相关，实体与实体之间通过关系连接。关键技术包括命名实体识别、关系抽取、知识表示、知识推理、知识融合等。知识图谱技术已经逐渐成为智能认知的重要手段，其核心是大规模的网状知识库，通过知识表示、知识推理等技术能够实现不同模态、不同源、不同领域信息知识的关联链接。知识图谱可以将元宇宙建模涉及到多传感、多模态、多类别的信息，以及不同来源、分散无序、相对独立的数字对象进行聚类、融合和重组，而且显式地呈现出不同粒度的知识。

单个元宇宙城市环境要素如地形环境分析、气象要素影响等已经在各自的领域得到了深入的研究，但该环境对作战行动、武器装备的影响需要综合考虑全域多维环境要素的影响，例如地面土质、地形起伏、当前的降雨、能见度、城镇的人文构设等均会对武器装备的机动速度、射界产生综合影响。尚缺乏能够快速检索、自动关联到全域多维要素的数据驱动模型。

现在常用的基于知识图谱的应用，大都采用如YAGO、NELL和Wikidata等大型知识图谱，这种图谱通常以（头尾）实体对（节点）之间的关系（边）形式表示事实。然而，面临元宇宙环境的多变性以及复杂性，即使是大型知识图谱对于其本体描述也是不完整的。另外，大型知识图谱中的每个关系都需要大量的实体对。然而，真实环境中的本体关系的频率分布往往有长尾。很大一部分关系在知识图谱中只有少数实体对。知识图谱和处理实体对数量有限的关系是非常重要和具有挑战性的。在这种情况下，以前的模型假设所有的关系都有足够多的训练实例，这就造成了模型的不可行性。另一方面，针对变化的元宇宙城市环境，知识图谱的本体描述不可能是一成不变的。因此，对于环境的反馈，对于修正环境的本体描述是一种非常重要的手段，而目前的知识图谱显然对此不支持。

鉴于上面两个挑战，结合人类元认识的少样本学习或元学习，设计知识图谱构造方案以及协同编辑技术。一方面，尝试建立一个基于少样本学习和元学习的关系模型，目的是学习一个匹配函数。即使在给定每个关系的少量参考实体对集合的情况下，该技术也能够有效地推断出真实的实体对；另一方面，本项目尝试利用预训练多模态模型在数据理解和生成方面的出色能力，用于弥合知识图谱编码和协同编辑内容的语义差距，以学习原有知识图谱和新信息之间的对应关系。

综合上述两点，整体技术期待可以解决目前模型扩展性不强的问题。

具体来说，元宇宙城市作战环境多模态知识图谱采用“自顶向下”方法构建，主要分为模式层和数据层构建，如图5所示。模式层主要是作战环境各要素本体和概念，数据层主要是作战环

境各要素实体和相关属性，其思路是根据本体概念分类体系实现地理本体和概念的构建，然后基于地质、地形、气象、海洋、电磁、网络等领域数据，实现实体和相关属性的抽取，利用知识融合方法实现跨域、多源异构作战环境数据的关联融合，最终形成元宇宙城市作战环境多模态知识图谱。但这种城市作战的知识图谱有着扩展性不强的弊端，因此，通过下面的方式来完善：在知识图谱的构建中，运用新型的基于元学习（少样本学习）的关系学习模型，旨在通过作战士兵或者前线的少量发现增补新关系的事实。该模型意图有效地从异质图结构中捕获知识，聚合少数样本的表示，并为每个关系匹配相似实体对。具体来说，首先，意图构建一个关系感知的异质邻居编码器，以学习基于异质图结构和注意力机制的实体嵌入、捕捉到不同的关系类型和本地邻居的影响差异。接着，拟设计一个递归自动编码器的聚合网络，来模拟几张照片的参考实体对的相互作用，并积累它们对每个关系的表达能力。在少量样本的聚合嵌入的情况下，拟采用一个匹配网络来发现相似实体对。基于元学习的元训练的梯度下降法被用来优化模型参数。学到的模型可以进一步应用于推断任何新关系的真实实体对，而无需任何微调步骤。

为了实现协同编辑，进一步地提出新型的基于预训练多模态模型和元学习的知识图谱协同编辑技术，如图6所示。为了弥补语义上的差距，通过图神经网络学习并编码来自知识图谱的表征和基于预训练多模态模型的编辑过的实体表征之间的对应关系来加强表征的一致性。为了将编辑过的实体输入知识图谱，提出了一个基于关系的广度优先搜索策略，将知识图谱线性化为一个规划良好的实体序列。从而实现了编辑小样本或者少样本的情况下，知识图谱可以动态更新，以至于达到协同编辑的目的。

图5 元宇宙城市作战知识图谱构建

Fig. 5 Knowledge graph for urban warfare in the metaverse

图6 基于知识图谱的协同编辑技术 

Fig. 6  Knowledge graph-based collaborative editing

4 案例实验与分析

结合之前的第2章和第3章节进行元宇宙建模的案例实验，进行框架的部署，使用OpenKG的中国地理信息图谱进行实验验证；对于第3章案例设计中相关设计进行定量对比实验。此外，将上述代码和系统送去具有CMA和CNAS资质的第三方实验室进行验证，验证结果表明该系统与本文论述结果一致，而且系统具有一定的可靠性和有效性。

4.1基于Neo4j的环境模型部署

如何用语言进行信息描述是本体建模领域经久不衰的话题。1998年，美军的作战管理语言（battle management language，BML）开始进行研究。2004年成立作战管理语言研究小组，利用仿真互操作标准化组织（simulation interoperability standard organization，SISO），设计联盟作战管理语言（coalition BML，C-BML），并试图将该语言用在联盟作战中LVC建模仿真系统、指挥控制系统、自治无人系统之间需求、计划、命令和报告的描述和交换，还能够为实战化训练、联合作战方案分析（course of action analysis，COAA）和使命演练（mission rehearsal）提供支持，计划发布数据模型、形式化结构（语法）、形式化语义（本体）3个阶段产品，当前只正式发布了第一阶段的数据模型标准，并研究了第二阶段及后续的标准开发框架。2008年SISO组织制定了军事想定语言（military scenario definition language，MSDL），用于规范仿真系统之间及其指挥控制系统之间共享信息的描述。当前C-BML语言虽然具备联合作战方案信息描述能力，但其语法和语义规范尚在制定过程中，因此急需一种语义级的作战环境方案描述语言。Python 被昵称为胶水语言，能够把用其他语言制作的各种模块很轻松地联结在一起。Python具有强大、丰富的（开源）库，它的应用领域非常广泛。而且语言简洁易懂，易于开发，但Python使用时由编译器解释执行，效率较低。所以常见的一种应用领域是，由Python快速生成原型，然后对其中有功能需求的部分，改用合适的其他语言，例如，在本体建构过程中，与图数据库语言结合。据此，使用Neo4j进行元宇宙城市作战的环境模型部署。

第1步：本体解析。使用类似结构查询语言（structured query lan-guage，SQL）的知识图谱查询语言，三元组模式是查询的基本单元，多个查询基本单元可构成基本图模式。这种语言还支持多种运算符，将基本图模式扩展为复杂图模型。常用的Python开源库为RDFLIB，它为知识图谱提供服务，包含Microdata、N3、Ntriples、RDFA、RDF/XML、Turtle的序列化和分析化功能，并提供一个多种存储方式。可以使用这种在计算机内存中建立起领域本体的模型，为后续工作做好准备。通过生成类似于SQL的数据库查询语句、进行查询，并处理得到的查询结果，就能建立起本体的模型。

第2步：数据映射。Neo4j由一种图数据库，其结构与之前构建的知识本体有所不同。为了存储由上一步本体解析得到的知识图谱三元组数据，需要将知识图谱数据映射为Neo4j专属模型。进行关系映射时，Neo4j节点存储的是不同知识点间的联系。通过这种方式，就可以完成本体模型数据到数据库的映射。

第3步：知识库生成。完成作战环境本体到Neo4j的存储，需要将完成解析的本体存储至Neo4j。Py2neo是Python的另一开源库，能够使用该库与Neo4j建立连接。利用Py2neo可以在计算机内存中建立与存储Neo4j的模型。通过生成节点与关系、过滤重复的数据，最终可生成Neo4j知识数据库。

4.2案例设计的实验验证

根据第3章的案例设计，分别进行实验验证：

1）基于生成式对抗网络改进的实验验证

使用黑夜→白天图像转换任务为例，使用街景数据集Alderley与BDD100K进行验证，与其他常见的基于生成式对抗网络的仿真环境生成与扩充数据算法CycleGAN，Disco-GAN，UNIT和DRIT做对比，利用学习感知图像补丁相似度（learned perceptual image patch similarity，LPIPS）指标来对生成图像的逼真性的定量评价。LPIPS 度量值越小，该算法生成的图像越逼真。

表1  转换对比方法结果表

Table 1 Comparison results for image generation

如图7所示，来自夜晚域的源图像被放在每一列的最上方，每一行对应于每种方法的转换输出。左边两列代表Alderley的定性结果，右边两列代表BDD100K的结果。尽管CycleGAN在物体清晰可见的区域进行了适当的编辑，但在黑暗或模糊区域的转换结果显示出较差的视觉质量。虽然DiscoGAN和UNIT在Alderley数据集的实验中与CycleGAN相比呈现出更好的编辑能力，但它们在使用BDD100K时产生了一些假象，而且输出结果也没有正确转换。同样，利用两个域的共同编码空间的DRIT在BDD100K的实验中产生了整体模糊的图像。模型可以成功地用两个数据集进行恶劣天气转换。与其他方法相比，它在大多数区域（包括黑暗和模糊区域）输出了视觉上的优越结果。此外，现有的物体在转换后的图像中得到了很好的保留。由此可以看出，案例设计的方法的表现力更强。另外，如表1所示，方法的LPIPS的值是最小的，而且与DRIT相比，生成图像的逼真性提升5%以上，所以，我们的设计方法的表现力更强。

2）基于知识图谱的扩展性改进实验验证

使用知识图谱查询任务为例进行验证，与其他常用的本体建模方法RESCAL、Trans-E、DistMult、ComplEx和Gmatchi-ng进行了对比。量化指标为知识三元组的查询排名MRR；它的全称是Mean Reciprocal Ranking(排名的倒数)，其中Reciprocal是指“倒数的”的意思。该指标越大越好。

如表2所示，本文方法的MRR的值是最大的，而且比Gmatching相比，提升5%以上，所以，本文设计方法的扩展性更强。

表2  查询对比方法结果表

Table 2 Comparison results for knowledge retrieval

5 结论

随着现代化战争的发展，大规模陆海空作战已经成为历史和不可及的未来。目前，世界局势以多点爆发的城市暴乱为主，也就是围绕城市争夺和城市巷战展开。但是，为了经济发展与人民生活安定，几乎不可能在超大城市或者大型城市里进行实战演练。因此，建设面向未来战争的智能作战环境模型是辅助作战筹划与决策的一种有效方法。而沉浸感强、虚实融合与协作性强的元宇宙, 给作战建模的发展带来更多新可能。据此，提出了面向城市作战的数据知识驱动的元宇宙建模框架；并基于此框架，探索了当前环境建模表现力差、扩展性弱的改进方案，而且对改进方案进行了定量实验验证。未来，基于此框架，期望可以积极开展元宇宙城市作战指挥控制基本理论与应用方面的探索，推进元宇宙城市作战空间关键功能模块的完善与实战应用。

编辑：黄飞