中国科学家开发深度强化学习框架：有效率识别复杂网络

网络科学是从交叉学科研究成长起来的一个新兴的学术领域。致力于研究复杂网络的性质，并且应用这些性质去研究一些具有网络特点的领域，比如信息技术网络、计算机网络、生物圈网络、学习和认知网络、社会关系网络、经济和金融网络等。这个领域以数学中的图论为理论基础，从物理中的统计力学、计算机科学中的数据挖掘和信息可视化、统计学中的推断建模、以及社会学和经济学中的社会结构理论等学科和分之中汲取方法论营养。美国国家科研委员会（National Research Council）将网络科学定义为“研究物理、生物、和社会现象的网络化表达、创建针对这些象限具有预测效果的模型”的学科。

近年来，网络科学家一直试图解决的基本问题之一是，确定最能影响网络功能的、称为关键参与者（key players）的最佳节点集（optimal set of nodes）。

确定主要参与者可以极大地有益于许多实际应用，例如，增强网络免疫的技术、辅助流行病控制、药物设计和防止病毒营销等。然而，由于其具有NP艰难性，使用具有多项式时间复杂度的精确算法来解决此问题已证明具有很高的挑战性。

中国国防科技大学的科学家、会同加州大学洛杉矶分校（UCLA）和哈佛医学院（HMS）的中国学者，最近开发了一种名为“FINDER”（发现者）的深度强化学习框架，该框架可以更有效率地识别复杂网络中的关键参与者。该框架中接受了由经典网络模型生成的一小套合成网络的训练，然后应用于实际场景。该最新研究成果论文在发表在今天的《自然》杂志的”机器智能“分刊上。

进行这项研究的高级研究人员之一、哈佛医学院中国学者、刘养宇（Yang-Yu Liu）说，“这项工作是由网络科学中的一个基本问题所激发的：我们如何找到最佳的关键角色集，这些角色的激活或移除将最大程度地增强或降低网络功能？” “已经提出了许多近似和启发式策略来处理特定的应用场景，但是我们仍然缺乏一个统一的框架来有效地解决这个问题。”

该框架代表通过深度强化学习在网络中寻找关键参与者，它以最近开发的深度学习技术为基础，用于解决组合优化问题。研究人员在由经典网络模型生成的大量小型合成网络上对该框架进行了培训，并使用针对要解决的任务的奖励函数来指导该框架。这样的策略指导该框架根据其当前状态，即当前网络结构，确定在一段时间内累积最大报酬应该采取的行动，即应选择的节点。

参与这项研究的另一位资深研究员、加州大学洛杉矶分校中国学者、孙益州（Yizhou Sun）说：“在传统的强化学习任务中，例如在机器人技术中，代表状态和动作可能很简单，而网络并非如此。” “在进行该项目时，我们面临的另一个挑战是确定如何表示网络，因为它具有离散的数据结构并且位于一个非常高度的空间中。为解决此问题，我们扩展了当前的图神经网络来表示节点的动作和图形的状态，这是与强化学习任务共同学习的。”

如图所示寻找在9/11恐怖分子网络中的关键参与者，其中每个节点代表参与9/11攻击的恐怖分子，边缘代表他们的社交交流。节点大小与其程度成正比。三种方法：（a）高程度； （b）该深度强化学习框架； （c）集体影响力。蓝色节点表示剩余图中的节点，红色节点表示在当前时间步确定的关键参与者，灰色节点是其余的孤立节点。面板（d）展示了这三种方法的累积归一化连接曲线，其中的水平轴是已删除节点的比例，垂直轴是其余的巨型连接组件中节点的比例。

为了有效地表示复杂的网络，研究人员共同确定了各个网络状态和动作的最佳表示，以及当网络处于特定状态时确定最佳动作的最佳策略。结果表示可以指导该学习框架识别网络中的关键参与者。

该研究团队所设计的新框架具有很高的灵活性，因此只需更改其奖励功能，就可以将其应用于各种现实网络的分析，非常有效，因为发现它在效率和速度方面都优于许多以前确定网络中关键参与者的策略。还可以轻松扩展该学习框架以分析包含数千个甚至数百万个节点的广泛网络。

研究人员说，“与现有技术相比，该学习框架在寻找复杂网络关键参与者的有效性和效率上均取得了卓越的表现。” “这代表了解决复杂的现实世界网络上具有挑战性的优化问题的范式转变。该学习框架不需要领域特定知识，而只需真实网络的程度异质性，就可以通过在小型合成图上仅进行一次离线自训练来实现此目标，然后令人惊讶地将现实世界网络的各个领域的规模都大大提高了。”

迄今为止，新的深层加固框架已取得了令人鼓舞的结果。将来，它可用于研究社交网络、电网、传染病的传播以及许多其他类型的网络。

该团队的发现强调了经典网络模型的希望，并从中汲取了灵感。尽管简单的模型可能看起来非常基础，但实际上，它们通常捕获了许多现实世界网络的主要特征，即程度异质性。当尝试解决与复杂网络有关的复杂优化问题时，此功能可能具有巨大的价值。