0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

在实践应用中极具潜力的图神经网络(GNNs)

独爱72H 来源:读芯术 作者:读芯术 2020-03-15 23:13 次阅读

(文章来源:读芯术)
深度学习已经改变了我们处理数据的方式,通过使用日益增长的计算“廉价”资源(摩尔定律)来解决现实世界问题,并且能够完成一些人脑几乎毫不费力就能完成的认知任务,例如图像分类,自然语言处理,视频处理等等。

但这些任务具有的大多数数据和结构通常是在欧几里得空间中表示的。然而,我们目睹了越来越多的问题,这些问题生成的数据来自非欧几里得域,它们更适合被表示为具有复杂关系和对象之间相互依赖关系的图。图数据的复杂性给经典ML算法和现代DL算法带来了重大挑战。近来出现了许多扩展DL方法使之用于图数据的研究。

花点时间想像一下,如果我们收集了所有“获批”药物或一般药物的结构,并训练一个GNN来学习药物的分子模式/结构,它会学会识别在此处或太空中发现的分子是不是药物。我相信结果可能相当令人惊讶,并且能帮助我们发现或重新发现可以治愈如今被认为无法治愈的疾病的药物。如果考虑大多数疾病甚至死亡本身都可以看作是技术问题。那么为什么有些生物可以活几百年而有些只能活几十年?我们可以无限延长寿命吗?

GNNs与对应的DL算法具有相似的属性,它能够进行回归,分类,为空节点和边生成数据,以及许多尚待发现的功能。该领域仍处于起步阶段,谁也不知道几年内我们能做些什么,以及用从现在开始的几千篇论文做些什么。对我来说,最有趣的是推荐以及医疗领域的应用,其中医疗领域为no.1。

如今,图可能是不规则的,一张图可能具有可变数目的无序节点,并且图中节点可能具有不同数量的邻居,从而导致一些在图像领域中易于计算的重要的操作(例如卷积),很难应用于图域。此外,现有机器学习算法的核心假设是实体相互独立。该假设不再适用于图数据,因为每个实体(节点)通过各种类别的链接(例如引文,好友和交互)与其他实体(节点)相关联。但这不是障碍,因为最近我们看到人们对扩展或者应该说是移植深度学习算法到图领域(尤其是设计来用于图数据)的兴趣日益浓厚。

卷积神经网络(ConvNets)不在本文讨论范围之内。循环图神经网络(RecGNNs)大多是图神经网络的开创性作品。RecGNN旨在学习具有循环神经架构的节点表示。它们假设图中的节点不断与其邻居交换信息/消息,直到达到稳定的平衡。RecGNNs在理论上很重要,它启发了后来对卷积图神经网络的研究。特别地,消息传递的思想被基于空间的卷积图神经网络所继承。

卷积图神经网络(ConvGNNs)将卷积运算从网格数据推广到了图形数据。主要思想是通过聚合节点自身的特征和邻居的特征来生成节点的表示,其中。与RecGNNs不同,ConvGNNs堆叠多个图卷积层以提取高级节点表示。ConvGNNs在建立许多其它的复杂GNN模型中起着核心作用。图2a展示了用于节点分类的ConvGNN。图2b展示了用于图分类的ConvGNN。

图自动编码器(GAEs)是无监督的学习框架,可将节点/图编码到潜在的矢量空间中,并通过编码后的信息重建图数据。GAEs用于学习网络嵌入和图生成分布。对于网络嵌入,GAEs通过重建图结构信息(例如图邻接矩阵)来学习潜在节点表示。对于图生成,某些方法逐步生成图的节点和边,而其他方法则一次全部输出图形。图2c展示了一个用于网络嵌入的GAE。

时空图神经网络(STGNNs)旨在从时空图中学习隐藏的模式,这种模式在各种应用中变得越来越重要,例如交通速度预测,驾驶员操纵预期和人类动作识别。STGNNs的关键思想是同时考虑空间依赖性和时间依赖性。许多当前的方法将用来捕获空间依赖性的图卷积和用来对时间依赖性进行建模的RNNs或CN

图分类旨在预测整个图的类标签。可以通过图卷积层,图池层和/或读出层的组合来实现此任务的端到端学习。图卷积层负责精确的高级节点表示,而图池化层则充当下采样的角色,从而每次将每个图都粗化为子结构。读出层将每个图的节点表示折叠为图表示。通过将多层感知器和softmax层应用于图表示,我们可以构建用于图分类的端到端框架。在图2b中给出了一个例子。

当图中没有可用的类标签时,可以在端到端框架中以完全无监督的方式学习图嵌入。这些算法以两种方式利用边级信息。一种简单的方法是采用自动编码器框架,其编码器使用图卷积层将图嵌入到潜在表示中,在其上使用解码器来重构图结构。另一种流行的方法是利用负采样方法,该方法将一部分节点对采样为负对,而图中具有链接的现有节点对为正对。然后应用逻辑回归层来区分正对和负对。
(责任编辑:fqj)

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4539

    浏览量

    98441
  • 深度学习
    +关注

    关注

    73

    文章

    5206

    浏览量

    119804
收藏 人收藏

    评论

    相关推荐

    大规模神经网络优化:超参最佳实践与规模律

    从理论分析入手把握大规模神经网络优化的规律,可以指导实践中的超参数选择。反过来,实践中的超参数选择也可以指导理论分析。本篇文章聚焦于大语言模型,介绍从 GPT 以来大家普遍使用的训练超参数的变化
    的头像 发表于 12-10 21:45 557次阅读

    卷积神经网络的优点

    卷积神经网络的优点  卷积神经网络(Convolutional Neural Network,CNN)是一种基于深度学习的神经网络模型,在图像识别、语音识别、自然语言处理等领域有着广泛的应用。相比
    的头像 发表于 12-07 15:37 2525次阅读

    《 AI加速器架构设计与实现》+第一章卷积神经网络观后感

    《 AI加速器架构设计与实现》+第一章卷积神经网络观感    本书的引言中也提到“一胜千言”,读完第一章节后,对其进行了一些归纳(如图1),第一章对常见的神经网络结构进行了介绍,
    发表于 09-11 20:34

    人工神经网络和bp神经网络的区别

    人工神经网络和bp神经网络的区别  人工神经网络(Artificial Neural Network, ANN)是一种模仿人脑神经元网络结构和功能的计算模型,也被称为
    的头像 发表于 08-22 16:45 3095次阅读

    卷积神经网络和深度神经网络的优缺点 卷积神经网络和深度神经网络的区别

    深度神经网络是一种基于神经网络的机器学习算法,其主要特点是由多层神经元构成,可以根据数据自动调整神经元之间的权重,从而实现对大规模数据进行预测和分类。卷积
    发表于 08-21 17:07 1963次阅读

    卷积神经网络的介绍 什么是卷积神经网络算法

    卷积神经网络的介绍 什么是卷积神经网络算法 卷积神经网络涉及的关键技术 卷积神经网络(Convolutional Neural Network,CNN)是一种用于图像分类、物体识别、语
    的头像 发表于 08-21 16:49 1298次阅读

    卷积神经网络的基本原理 卷积神经网络发展 卷积神经网络三大特点

    卷积神经网络的基本原理 卷积神经网络发展历程 卷积神经网络三大特点  卷积神经网络的基本原理 卷积神经网络(Convolutional Ne
    的头像 发表于 08-21 16:49 1270次阅读

    卷积神经网络三大特点

    卷积神经网络三大特点  卷积神经网络(Convolutional Neural Network,CNN)是一种深度学习模型,其具有三大特点:局部感知、参数共享和下采样。 一、局部感知 卷积神经网络
    的头像 发表于 08-21 16:49 3134次阅读

    卷积神经网络是随着什么的变化

    各种类型的数据,例如图像、视频、语音、文本等,因此被广泛应用于计算机视觉和自然语言处理领域。 CNN的发展可以追溯到20世纪80年代,当时,人们开始意识到神经网络潜力,并开始研究它的应用,然而,由于当时的硬件条件不好,科技水平有限,
    的头像 发表于 08-21 16:49 260次阅读

    卷积神经网络模型有哪些?卷积神经网络包括哪几层内容?

    卷积神经网络模型有哪些?卷积神经网络包括哪几层内容? 卷积神经网络(Convolutional Neural Networks,CNN)是深度学习领域中最广泛应用的模型之一,主要应用于图像、语音
    的头像 发表于 08-21 16:41 1338次阅读

    卷积神经网络概述 卷积神经网络的特点 cnn卷积神经网络的优点

    卷积神经网络概述 卷积神经网络的特点 cnn卷积神经网络的优点  卷积神经网络(Convolutional neural network,CNN)是一种基于深度学习技术的
    的头像 发表于 08-21 16:41 1707次阅读

    卷积神经网络的应用 卷积神经网络通常用来处理什么

    卷积神经网络的应用 卷积神经网络通常用来处理什么 卷积神经网络(Convolutional Neural Network,简称CNN)是一种在神经网络领域内广泛应用的
    的头像 发表于 08-21 16:41 3576次阅读

    卷积神经网络原理:卷积神经网络模型和卷积神经网络算法

    卷积神经网络原理:卷积神经网络模型和卷积神经网络算法 卷积神经网络(Convolutional Neural Network,CNN)是一种基于深度学习的人工
    的头像 发表于 08-17 16:30 843次阅读

    什么是神经网络?为什么说神经网络很重要?神经网络如何工作?

    神经网络是一个具有相连节点层的计算模型,其分层结构与大脑中的神经元网络结构相似。神经网络可通过数据进行学习,因此,可训练其识别模式、对数据分类和预测未来事件。
    的头像 发表于 07-26 18:28 1673次阅读
    什么是<b class='flag-5'>神经网络</b>?为什么说<b class='flag-5'>神经网络</b>很重要?<b class='flag-5'>神经网络</b>如何工作?

    三个最流行神经网络

    在本文中,我们将了解深度神经网络的基础知识和三个最流行神经网络:多层神经网络(MLP),卷积神经网络(CNN)和递归神经网络(RNN)。
    发表于 05-15 14:19 1110次阅读
    三个最流行<b class='flag-5'>神经网络</b>