0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

中国科学家开发深度强化学习框架:有效率识别复杂网络

如意 来源:百家号 作者:量子认知 2020-06-28 10:17 次阅读

网络科学是从交叉学科研究成长起来的一个新兴的学术领域。致力于研究复杂网络的性质,并且应用这些性质去研究一些具有网络特点的领域,比如信息技术网络、计算机网络、生物圈网络、学习和认知网络、社会关系网络、经济和金融网络等。这个领域以数学中的图论为理论基础,从物理中的统计力学、计算机科学中的数据挖掘和信息可视化、统计学中的推断建模、以及社会学和经济学中的社会结构理论等学科和分之中汲取方法论营养。美国国家科研委员会(National Research Council)将网络科学定义为“研究物理、生物、和社会现象的网络化表达、创建针对这些象限具有预测效果的模型”的学科。

近年来,网络科学家一直试图解决的基本问题之一是,确定最能影响网络功能的、称为关键参与者(key players)的最佳节点集(optimal set of nodes)。

确定主要参与者可以极大地有益于许多实际应用,例如,增强网络免疫的技术、辅助流行病控制、药物设计和防止病毒营销等。然而,由于其具有NP艰难性,使用具有多项式时间复杂度的精确算法来解决此问题已证明具有很高的挑战性。

中国国防科技大学的科学家、会同加州大学洛杉矶分校(UCLA)和哈佛医学院(HMS)的中国学者,最近开发了一种名为“FINDER”(发现者)的深度强化学习框架,该框架可以更有效率地识别复杂网络中的关键参与者。该框架中接受了由经典网络模型生成的一小套合成网络的训练,然后应用于实际场景。该最新研究成果论文在发表在今天的《自然》杂志的”机器智能“分刊上。

进行这项研究的高级研究人员之一、哈佛医学院中国学者、刘养宇(Yang-Yu Liu)说,“这项工作是由网络科学中的一个基本问题所激发的:我们如何找到最佳的关键角色集,这些角色的激活或移除将最大程度地增强或降低网络功能?” “已经提出了许多近似和启发式策略来处理特定的应用场景,但是我们仍然缺乏一个统一的框架来有效地解决这个问题。”

该框架代表通过深度强化学习在网络中寻找关键参与者,它以最近开发的深度学习技术为基础,用于解决组合优化问题。研究人员在由经典网络模型生成的大量小型合成网络上对该框架进行了培训,并使用针对要解决的任务的奖励函数来指导该框架。这样的策略指导该框架根据其当前状态,即当前网络结构,确定在一段时间内累积最大报酬应该采取的行动,即应选择的节点。

参与这项研究的另一位资深研究员、加州大学洛杉矶分校中国学者、孙益州(Yizhou Sun)说:“在传统的强化学习任务中,例如在机器人技术中,代表状态和动作可能很简单,而网络并非如此。” “在进行该项目时,我们面临的另一个挑战是确定如何表示网络,因为它具有离散的数据结构并且位于一个非常高度的空间中。为解决此问题,我们扩展了当前的图神经网络来表示节点的动作和图形的状态,这是与强化学习任务共同学习的。”

如图所示寻找在9/11恐怖分子网络中的关键参与者,其中每个节点代表参与9/11攻击的恐怖分子,边缘代表他们的社交交流。节点大小与其程度成正比。三种方法:(a)高程度; (b)该深度强化学习框架; (c)集体影响力。蓝色节点表示剩余图中的节点,红色节点表示在当前时间步确定的关键参与者,灰色节点是其余的孤立节点。面板(d)展示了这三种方法的累积归一化连接曲线,其中的水平轴是已删除节点的比例,垂直轴是其余的巨型连接组件中节点的比例。

为了有效地表示复杂的网络,研究人员共同确定了各个网络状态和动作的最佳表示,以及当网络处于特定状态时确定最佳动作的最佳策略。结果表示可以指导该学习框架识别网络中的关键参与者。

该研究团队所设计的新框架具有很高的灵活性,因此只需更改其奖励功能,就可以将其应用于各种现实网络的分析,非常有效,因为发现它在效率和速度方面都优于许多以前确定网络中关键参与者的策略。还可以轻松扩展该学习框架以分析包含数千个甚至数百万个节点的广泛网络。

研究人员说,“与现有技术相比,该学习框架在寻找复杂网络关键参与者的有效性和效率上均取得了卓越的表现。” “这代表了解决复杂的现实世界网络上具有挑战性的优化问题的范式转变。该学习框架不需要领域特定知识,而只需真实网络的程度异质性,就可以通过在小型合成图上仅进行一次离线自训练来实现此目标,然后令人惊讶地将现实世界网络的各个领域的规模都大大提高了。”

迄今为止,新的深层加固框架已取得了令人鼓舞的结果。将来,它可用于研究社交网络、电网、传染病的传播以及许多其他类型的网络。

该团队的发现强调了经典网络模型的希望,并从中汲取了灵感。尽管简单的模型可能看起来非常基础,但实际上,它们通常捕获了许多现实世界网络的主要特征,即程度异质性。当尝试解决与复杂网络有关的复杂优化问题时,此功能可能具有巨大的价值。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 计算机网络
    +关注

    关注

    2

    文章

    314

    浏览量

    21863
  • 网络学习
    +关注

    关注

    0

    文章

    5

    浏览量

    6302
收藏 人收藏

    评论

    相关推荐

    NVIDIA首席科学家Bill Dally:深度学习硬件趋势

    Bill Dally于2009年1月加入NVIDIA担任首席科学家,此前在斯坦福大学任职12年,担任计算机科学系主任。Dally及其斯坦福团队开发了系统架构、网络架构、信号传输、路由和
    的头像 发表于 02-25 16:16 287次阅读
    NVIDIA首席<b class='flag-5'>科学家</b>Bill Dally:<b class='flag-5'>深度</b><b class='flag-5'>学习</b>硬件趋势

    什么是强化学习

    强化学习是机器学习的方式之一,它与监督学习、无监督学习并列,是三种机器学习训练方法之一。 在围棋上击败世界第一李世石的 AlphaGo、在《
    的头像 发表于 10-30 11:36 1273次阅读
    什么是<b class='flag-5'>强化学习</b>

    深度学习在语音识别中的应用及挑战

    的挑战。 二、深度学习在语音识别中的应用 1.基于深度神经网络的语音识别
    的头像 发表于 10-10 18:14 462次阅读

    模拟矩阵在深度强化学习智能控制系统中的应用

    讯维模拟矩阵在深度强化学习智能控制系统中的应用主要是通过构建一个包含多种环境信息和动作空间的模拟矩阵,来模拟和预测深度强化学习智能控制系统在不同环境下的表现和效果,从而优化控制策略和提
    的头像 发表于 09-04 14:26 301次阅读
    模拟矩阵在<b class='flag-5'>深度</b><b class='flag-5'>强化学习</b>智能控制系统中的应用

    华为辟谣3.2万名科学家移籍

    华为辟谣3.2万名科学家移籍 对于近期网络传言的华为3.2万名科学家移籍华为方面表示,造谣者毫无根据、无中生有。 华为辟谣3.2万名科学家移籍以及其他的一些
    的头像 发表于 08-22 16:51 947次阅读
    华为辟谣3.2万名<b class='flag-5'>科学家</b>移籍

    深度学习框架深度学习算法教程

    深度学习框架深度学习算法教程 深度学习是机器
    的头像 发表于 08-17 16:11 656次阅读

    深度学习框架连接技术

    深度学习框架连接技术 深度学习框架是一个能够帮助机器学习
    的头像 发表于 08-17 16:11 445次阅读

    深度学习框架tensorflow介绍

    深度学习框架tensorflow介绍 深度学习框架TensorFlow简介
    的头像 发表于 08-17 16:11 1300次阅读

    深度学习框架的作用是什么

    深度学习框架的作用是什么 深度学习是一种计算机技术,它利用人工神经网络来模拟人类的
    的头像 发表于 08-17 16:10 1088次阅读

    深度学习框架是什么?深度学习框架有哪些?

    深度学习框架是什么?深度学习框架有哪些?  深度
    的头像 发表于 08-17 16:03 1610次阅读

    深度学习框架pytorch入门与实践

    深度学习框架pytorch入门与实践 深度学习是机器学习中的一个分支,它使用多层神经
    的头像 发表于 08-17 16:03 1108次阅读

    基于强化学习的目标检测算法案例

    摘要:基于强化学习的目标检测算法在检测过程中通常采用预定义搜索行为,其产生的候选区域形状和尺寸变化单一,导致目标检测精确度较低。为此,在基于深度强化学习的视觉目标检测算法基础上,提出联合回归与
    发表于 07-19 14:35 0次下载

    什么是深度强化学习?深度强化学习算法应用分析

    什么是深度强化学习? 众所周知,人类擅长解决各种挑战性的问题,从低级的运动控制(如:步行、跑步、打网球)到高级的认知任务。
    发表于 07-01 10:29 1029次阅读
    什么是<b class='flag-5'>深度</b><b class='flag-5'>强化学习</b>?<b class='flag-5'>深度</b><b class='flag-5'>强化学习</b>算法应用分析

    基于深度强化学习的视觉反馈机械臂抓取系统

    机械臂抓取摆放及堆叠物体是智能工厂流水线上常见的工序,可以有效的提升生产效率,本文针对机械臂的抓取摆放、抓取堆叠等常见任务,结合深度强化学习及视觉反馈,采用AprilTag视觉标签、后
    的头像 发表于 06-12 11:25 1273次阅读
    基于<b class='flag-5'>深度</b><b class='flag-5'>强化学习</b>的视觉反馈机械臂抓取系统

    ICLR 2023 Spotlight|节省95%训练开销,清华黄隆波团队提出强化学习专用稀疏训练框架RLx2

    大模型时代,模型压缩和加速显得尤为重要。传统监督学习可通过稀疏神经网络实现模型压缩和加速,那么同样需要大量计算开销的强化学习任务可以基于稀疏网络进行训练吗?本文提出了一种
    的头像 发表于 06-11 21:40 363次阅读
    ICLR 2023 Spotlight|节省95%训练开销,清华黄隆波团队提出<b class='flag-5'>强化学习</b>专用稀疏训练<b class='flag-5'>框架</b>RLx2