电子发烧友网 > 人工智能 > 正文

图神经网络概述第三弹:来自IEEE Fellow的GNN综述

2019年01月10日 10:26 次阅读

本文来源:机器之心编译 作者:Zonghan Wu

神经网络(GNN)热度持续上升,之前我们曾介绍了清华两篇综述论文,参见:深度学习时代的图模型,清华发文综述图网络,和清华大学图神经网络综述:模型与应用。最近,IEEEFellow、SeniorMember和MemberZonghanWu等人又贡献了一篇图神经网络综述文章。这篇文章介绍了GNN的背景知识、发展历史、分类与框架、应用等,详细介绍了各种模型与方法,包括公式、模型图示、算法等,希望对大家有所帮助。

引言

深度网络的最新进展推进了模式识别和数据挖掘领域的研究。目标检测、机器翻译、语音识别等许多机器学习任务曾高度依赖手工特征工程来提取信息特征集合,但多种端到端深度学习方式(即卷积神经网络、长短期记忆网络和自编码器)改变了这种状况。深度学习在多个领域的成功主要归功于计算资源的快速发展(如GPU)、大量训练数据的收集,还有深度学习从欧几里得数据(如图像、文本和视频)中提取潜在表征的有效性。例如CNN可以利用平移不变性、局部连通性和图像数据语意合成性,从而提取出与整个数据集共享的局部有意义的特征,用于各种图像分析任务。

尽管深度学习已经在欧几里得数据中取得了很大的成功,但从非欧几里得域生成的数据已经取得更广泛的应用,它们需要有效分析。例如,在电子商务领域,一个基于图的学习系统能够利用用户和产品之间的交互以实现高度精准的推荐。在化学领域,分子被建模为图,新药研发需要测定其生物活性。在论文引用网络中,论文之间通过引用关系互相连接,需要将它们分成不同的类别。

图数据的复杂性对现有机器学习算法提出了重大挑战,因为图数据是不规则的。每张图大小不同、节点无序,一张图中的每个节点都有不同数目的邻近节点,使得一些在图像中容易计算的重要运算(如卷积)不能再直接应用于图。此外,现有机器学习算法的核心假设是实例彼此独立。然而,图数据中的每个实例都与周围的其它实例相关,含有一些复杂的连接信息,用于捕获数据之间的依赖关系,包括引用、朋友关系和相互作用。

最近,越来越多的研究开始将深度学习方法应用到图数据领域。受到深度学习领域进展的驱动,研究人员在设计图神经网络的架构时借鉴了卷积网络、循环网络和深度自编码器的思想。为了应对图数据的复杂性,重要运算的泛化和定义在过去几年中迅速发展。例如,图1展示了受标准2D卷积启发得到的图卷积。本文旨在对这些方法进行全面概述,受众包括想要进入这一快速发展领域的研究人员和想要对比图神经网络算法的专家。

图1:2D卷积 vs.图卷积

图神经网络简史

图神经网络的概念首先由Gori等人(2005)[16]提出,并由Scarselli等人(2009)[17]进一步阐明。这些早期的研究以迭代的方式通过循环神经架构传播邻近信息来学习目标节点的表示,直到达到稳定的固定点。该过程所需计算量庞大,而近来也有许多研究致力于解决这个难题。在本文中,图神经网络代表的是所有用于图数据的深度学习方法。

受到卷积网络在计算机视觉领域所获巨大成功的激励,近来出现了很多为图数据重新定义卷积概念的方法。这些方法属于图卷积网络(GCN)的范畴。Bruna等人(2013)提出了关于图卷积网络的第一项重要研究,他们基于谱图论(spectralgraphtheory)开发了一种图卷积的变体。自此,基于谱的图卷积网络不断改进、拓展、进阶。由于谱方法通常同时处理整个图,并且难以并行或扩展到大图上,基于空间的图卷积网络开始快速发展。这些方法通过聚集近邻节点的信息,直接在图结构上执行卷积。结合采样策略,计算可以在一个批量的节点而不是整个图中执行,这种做法有望提高效率。

除了图卷积网络,近几年还开发出了很多替代的图神经网络。这些方法包括图注意力网络(GAT)、图自编码器、图生成网络以及图时空网络。关于这些方法的分类细节详见第三章。

图神经网络相关研究。Bronstein等人用符号几何深度学习概述了非欧几里得领域的深度学习方法,包括图和流形。虽然这是对图卷积网络的第一次回顾,但这一项研究遗漏了几个基于空间的重要方法,包括[15],[19],[24],[26],[27],[28],这些方法更新了最新的基准。此外,这项调查没有囊括很多新开发的架构,这些架构的重要性不亚于图卷积网络。

对于另一项研究,Battaglia等人[29]将图网络定位为从关系数据中学习的构建块,并在统一的框架下回顾了部分图神经网络。然而,他们整体的框架是高度抽象的,失去了每种方法在原论文中的见解。Lee等人[30]对图注意力模型(一种图神经网络)进行了部分调查。最近,Zhang等人[31]提出了一项关于图深度学习的最新调查,却忽略了对图生成网络和图时空网络的研究。总之,现有的研究没有一个对图神经网络进行全面的回顾,只覆盖了部分图卷积神经网络且检查的研究有限,因此遗漏了图神经网络替代方法的最新进展,如图生成网络和图时空网络。

图神经网络vs.网络嵌入。对图神经网络的研究与图嵌入或网络嵌入紧密相关,这也是数据挖掘和机器学习社区日益关注的一个话题[32][33][34][35],[36],[37]。网络嵌入旨在通过保留网络拓扑架构和节点内容信息,将网络顶点表示到低维向量空间中,以使任何后续的图分析任务(如分类、聚类和推荐)都可以通过使用简单的现成学习机算法(如用于分类的支持向量机)轻松执行。许多网络嵌入算法都是无监督算法,它们大致可分为三组[32],即矩阵分解[38],[39]、随机游走[40]和深度学习方法。用于网络嵌入的深度学习方法同时还属于图神经网络,包括基于图自编码器的算法(如DNGR[41]和SDNE[42])和具有无监督训练的图卷积神经网络(如GraphSage[24])。图2描述了本文中网络嵌入和图神经网络的区别。

图2:网络嵌入vs图神经网络。

本文作出的贡献如下:

新的分类体系:考虑到深度学习在图数据上的研究与日俱增,我们提出了图神经网络(GNN)的新分类体系。在这种分类体系下,GNN被分成了5个类别:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。我们确定了图神经网络和网络嵌入之间的区别,并在不同的图神经网络架构之间建立了联系。

全面的概述:这个综述提供了在图数据上的现代深度学习技术的全面概述。对每一种类型的图神经网络,我们提供了表征算法的细节描述,并做了必要的对比和对应算法的总结。

丰富的资源:这篇综述提供了图神经网络的丰富资源,其中包括当前最佳算法、基准数据集、开源代码和实践应用。这篇综述可以作为理解、使用和开发不同实际应用的深度学习方法的实践指南。

未来方向:这篇综述还强调了已有算法的当前限制,指出了这个快速发展领域未来的可能方向。

论文:AComprehensiveSurveyonGraphNeuralNetworks

论文链接:https://arxiv.org/pdf/1901.00596v1.pdf

摘要:近年来,从图像分类到视频处理再到语音识别和自然语言处理,深度学习已经变革了多项机器学习任务。这些任务中的数据通常表示在欧几里得空间中。然而,越来越多的应用使用非欧几里得域生成的数据,并将它们表示为具有复杂关系和相互依赖关系的图。虽然图数据的复杂性对现有机器学习算法提出了重大挑战,但最近许多研究开始将深度学习方法扩展到图数据。

本文综述了数据挖掘和机器学习领域中的图神经网络(GNN),并按照新的方法对图神经网络的最新进展进行了分类。在关注图卷积网络的同时,他们还回顾了最近开发的其他架构,例如图注意力网络、图自编码器,图生成网络以及图时空网络等。我们还进一步讨论了图神经网络在多个领域的应用并总结了不同学习任务现有算法的开源代码及基准。最后,我们提出了这一快速发展领域的研究方向。

2.定义

在这一节,我们提供基础图概念的定义。为了方便查询,我们在表1总结了常用的符号。

表1:常用符号。

3.分类与框架

这一部分内容给出了图神经网络的分类方法。我们考虑到了所有能与神经架构组合成图神经网络的可微图模型,把图神经网络最终分类为:图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。这些网络中,图卷积网络在捕捉架构依存关系上扮演着核心角色。如下图3所示,属于其他类别的方法部分使用图卷积网络作为基础。表2总结了每个类别的代表性方法。

图3:图神经网络分类

表2:图神经网络代表性论文

下图4展示了图卷积网络节点表征学习的过程。

图4:有多层GCN层的图卷积网络变体。通过从邻域聚合特征信息,一个GCN层把每个节点的隐藏表征进行压缩。在特征聚合之后,非线性置换被应用到生成的输出上。通过多层堆叠,每个节点的最终隐藏表征从后续邻域获得信息。

下图5展示了多个建立在GCN上的图神经网络模型。


图5:建立在GCN上的不同图神经网络模型。

下图展示了图卷积网络和图注意力网络在聚合邻近节点信息方面的区别。

3.2框架

表3:图卷积网络的总结。Node-level输出与节点回归和分类任务相关,Edge-level输出与边分类和链接预测任务相关,Graph-level输出与图分类任务相关。

端到端训练框架。图卷积网络可以以(半)监督或纯无监督的方式在端到端学习框架中训练,依赖于学习任务和可用的标签信息。

节点级分类的半监督学习。给定部分节点被标记的单个网络,图卷积网络可以学习到一个鲁棒的模型,高效识别未标记节点的类别标签[14]。为此,可以通过堆叠一系列的图卷积层和softmax层来建立端到端框架进行多类别分类。

图级分类的监督学习。给定一个图数据集,图级分类旨在预测整个图的类别标签[55],[56],[74],[75]。这一任务的端到端学习可以利用一个结合了图卷积层和池化步骤的框架实现[55],[56]。

图嵌入的无监督学习。如果图中无可用类别标签,我们可以在一个端到端框架中以完全无监督的方式学习图嵌入。这些算法通过两种方式利用边级(edge-level)信息。一种简单的方法是采用自编码器框架,其中编码器使用图卷积层将图嵌进潜在表征中,然后使用解码器重构图结构[59],[61]。另一种方法是利用负采样方法,采样一部分节点对作为负对(negativepair),而图中已有的节点作为正对(posiTIvepair)。然后在卷积层之后应用logisTIc回归层,以用于端到端学习[24]。

4.图卷积网络

这一章概览图卷积网络(GCN),这是很多复杂图神经网络模型的基础。GCN方法分为两类,分别基于谱和空间。基于谱的方法通过从图信号处理的角度引入滤波器来定义图卷积,其中图卷积运算被解释为从图信号中去除噪声[76]。基于空间的方法将图卷积表征为聚合来自近邻的特征信息。虽然GCN在节点级别上运行,但是图池化模块可以与GCN层交替,将图粗粒化为高级子结构。如图5a所示,这种架构设计可用于提取图级表征、执行图分类任务。下文会分别介绍、基于空间的GCN和图池化模块。

基于谱的GCN部分介绍了其背景、方法等,这些方法包括SpectralCNN、ChebyshevSpectralCNN(ChebNet)、FirstorderofChebNet(1stChebNet)和AdapTIveGraphConvoluTIonNetwork(AGCN)。

基于空间的GCN分为两类:Recurrent-basedSpatialGCN和CompositionBasedSpatialGCN。前者包括图神经网络(GraphNeuralNetworks,GNN)、门控图神经网络(GatedGraphNeuralNetworks,GGNN)和StochasticSteady-stateEmbedding(SSE)。后者涉及了:MessagePassingNeuralNetworks(MPNN)、GraphSage。此外,这部分还介绍了这两大类之外的空间GCN变体,包括DiffusionConvolutionNeuralNetworks(DCNN)、PATCHY-SAN、Large-scaleGraphConvolutionNetworks(LGCN)、MixtureModelNetwork(MoNet)。

SSE算法。

这一章还从效率、通用性和灵活性方面,对比了基于谱的GCN和基于空间的GCN,认为基于空间的GCN更具优势,也因此吸引了更多研究兴趣。

5图卷积网络之外的模型

这部分概述了图卷积网络之外的其他图神经网络,包括图注意力神经网络、图自编码器、图生成模型和图时空网络。下表总结了每个类别下的主要方法。

表4:图卷积网络之外的其他图神经网络概览。该表根据网络的输入、输出、目标任务和是否基于GCN总结了每种网络下的多种方法。输入列代表每种方法适合分布式图(A)、有向图(D)还是时空图(S)。

5.1图注意力网络

注意力机制几乎成为序列任务中的标配。它的价值在于能够聚焦于对象最重要的部分。该机制被证明在多项任务中有用,如机器翻译和自然语言理解。由于注意力机制的模型容量越来越大,图神经网络在聚合信息、集成多个模型的输出、生成重要性导向的随机游走时,可以从注意力机制中获益良多。

这部分介绍了图注意力网络的多种方法,包括图注意力网络(GraphAttentionNetwork,GAT)、门控注意力网络(GatedAttentionNetwork,GAAN)、图注意力模型(GraphAttentionModel,GAM)、注意力游走(AttentionWalks)。

注意力机制对图神经网络的贡献有三部分,即在聚合特征信息时向不同近邻分配注意力权重、根据注意力权重集成多个模型,以及使用注意力权重引导随机游走。尽管我们把GAT和GAAN分类为图注意力网络的两种方法,但是它们都可以作为基于空间的卷积网络。二者的优势是它们可以适应性地学习近邻的重要性权重(如图6所示)。但是,由于我们必须计算每对近邻之间的注意力权重,因此计算成本和内存消耗会快速增长。

5.2图自编码器

图自编码器是一类网络嵌入方法,旨在通过神经网络架构将网络顶点表征到低维向量空间。典型的解决方案是使用多层感知机作为编码器来获取节点嵌入,解码器重建节点的近邻统计,如正逐点互信息(positivepointwisemutualinformation,PPMI)或一阶、二阶接近度(proximities)[42]。最近,研究人员尝试在设计图自编码器时用GCN作为编码器、结合GCN和GAN,或者结合LSTM和GAN。

这部分介绍了基于GCN的自编码器和其他变体。基于GCN的自编码器部分介绍了:图自编码器(GraphAuto-encoder,GAE)、对抗正则化图自编码器(AdversariallyRegularizedGraphAutoencoder,ARGA)。其他变体包括:具备对抗正则化自编码器的网络表征(NetworkRepresentationswithAdversariallyRegularizedAutoencoders,NetRA)、用于图表征的深度神经网络(DeepNeuralNetworksforGraphRepresentations,DNGR)、结构化深度网络嵌入(StructuralDeepNetworkEmbedding,SDNE)、深度递归网络嵌入(DeepRecursiveNetworkEmbedding,DRNE)。

DNGR和SDNE仅基于拓扑结构学习节点嵌入,而GAE、ARGA、NetRA和DRNE需要基于拓扑信息和节点内容特征学习节点嵌入。图自编码器的一个挑战是邻接矩阵的稀疏性,会导致解码器正条目(positiveentry)的数量远远少于负条目。为了解决这个问题,DNGR重建了一个较稠密的矩阵——PPMI矩阵,SDNE对邻接矩阵的零条目进行惩罚,GAE重新调整邻接矩阵中项的权重,NetRA将图线性化为序列。

5.3图生成网络

图生成网络的目标是基于一组可观察图来生成图。其中的很多方法都是领域特定的。例如,在分子图生成方面,一些研究将分子图的表征建模为字符串SMILES[94],[95],[96],[97]。在自然语言处理中,生成语义图或知识图通常需要一个给定的句子[98],[99]。最近,研究人员又提出了多个通用方法。一些研究将生成过程看成节点或边的形成[64],[65],而另一些则使用生成对抗训练[66],[67]。该领域的方法要么使用GCN作为构造块,要么使用不同的架构。

这部分介绍了基于GCN的图生成网络和其他图生成网络。前者包括:分子生成对抗网络(MolecularGenerativeAdversarialNetworks,MolGAN)和深度图生成模型(DeepGenerativeModelsofGraphs,DGMG);后者涉及GraphRNN(通过两级循环神经网络使用深度图生成模型)和NetGAN(结合LSTM和WassersteinGAN从基于随机游走的方法中生成图)。

图9:MolGAN框架图示。

5.4图时空网络

图时空网络同时捕捉时空图的时间和空间依赖。时空图具备全局图结构,每个节点的输入随着时间而改变。例如在交通网络中,使用每个传感器作为节点来连续记录某条道路的交通流动速度,其中交通网络的边由传感器对之间的距离决定。图时空网络的目标是预测未来节点值或标签,或预测时空图标签。近期研究探索了仅使用GCN、结合GCN和RNN或CNN,以及专用于图结构的循环架构。

这部分介绍了基于GCN的图时空网络和其他图时空网络。前者包括:DiffusionConvolutionalRecurrentNeuralNetwork(DCRNN)、CNN-GCN、时空GCN(SpatialTemporalGCN,ST-GCN)。其他方法有Structural-RNN,一种循环结构化框架。

DCRNN的优势是能够处理长期依赖,因为它具备循环网络架构。尽管CNN-GCN比DCRNN简单一些,但CNN-GCN能够更高效地处理时空图,这要归功于1DCNN的快速实现。时空GCN将时间流作为图的边,这导致邻接矩阵的大小呈平方增长。一方面,它增加了图卷积层的计算成本。另一方面,要捕捉长期依赖,图卷积层必须多次堆叠。StructuralRNN在同一个语义组内共享相同的RNN,从而改善了模型效率,但是StructuralRNN需要人类先验知识来分割语义组。

6应用

图神经网络应用广泛。下面将首先介绍在文献中频繁使用的基准数据集。接着将报告各种方法在四种常用数据集上的基准性能,并列出可用的图神经网络开源实现。最后,我们将介绍图神经网络在各个领域的实际应用案例。

6.1数据集

表5:常用数据集总结。

6.2基准和开源实现

表6:各种方法在四种最常用数据集上的基准性能。以上列出的方法都使用相同的训练、验证和测试数据集进行评估。

表7:开源实现概览。

6.3实际应用案例

本文按领域介绍了GNN的应用,包括计算机视觉、推荐系统、交通、化学等。

7未来方向

加深网络。深度学习的成功在于深度神经架构。例如在图像分类中,模型ResNet具有152层。但在图网络中,实证研究表明,随着网络层数增加,模型性能急剧下降[147]。根据论文[147],这是由于图卷积的影响,因为它本质上推动相邻节点的表示更加接近彼此,所以理论上,通过无限次卷积,所有节点的表示将收敛到一个点。这导致了一个问题:加深网络是否仍然是学习图结构数据的好策略?

感受野。节点的感受野是指一组节点,包括中心节点和其近邻节点。节点的近邻(节点)数量遵循幂律分布。有些节点可能只有一个近邻,而有些节点却有数千个近邻。尽管采用了采样策略[24],[26],[27],但如何选择节点的代表性感受野仍然有待探索。

可扩展性。大部分图神经网络并不能很好地扩展到大型图上。主要原因是当堆叠一个图卷积的多层时,节点的最终状态涉及其大量近邻节点的隐藏状态,导致反向传播变得非常复杂。虽然有些方法试图通过快速采样和子图训练来提升模型效率[24],[27],但它们仍无法扩展到大型图的深度架构上。

动态性和异质性。大多数当前的图神经网络都处理静态同质图。一方面,假设图架构是固定的。另一方面,假设图的节点和边来自同一个来源。然而,这两个假设在很多情况下是不现实的。在社交网络中,一个新人可能会随时加入,而之前就存在的人也可能退出该社交网络。在推荐系统中,产品可能具有不同的类型,而其输出形式也可能不同,也许是文本,也许是图像。因此,应当开发新方法来处理动态和异质图结构。

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

互联网巨头进军AI农业 农业颠覆靠AI

近日,在荷兰举行了一场举世瞩目的国际人工智能种菜大赛。

发表于 2019-01-09 16:49 220次阅读
互联网巨头进军AI农业 农业颠覆靠AI

软硬结合思必驰第一代AI芯片亮相

不同于云知声、Rokid在公司内部成立独立部门进行研发,思必驰此款芯片由其2018年初成立的子公司“...

发表于 2019-01-09 11:24 385次阅读
软硬结合思必驰第一代AI芯片亮相

2019年22大技术趋势

MiniLED具有高对比、高亮度的显示效果,能够与OLED显示相媲美,所以,Mini LED已经开始...

发表于 2019-01-08 11:28 443次阅读
2019年22大技术趋势

回顾2018年深度学习NLP十大创新思路

Sebastian Ruder 是一位 NLP 方向的博士生、研究科学家,目前供职于一家做 NLP ...

发表于 2019-01-08 11:25 231次阅读
回顾2018年深度学习NLP十大创新思路

群雄混战 AI芯片设计面临的挑战与趋势

随着深度学习和AI应用的不断演进,近两年AI芯片厂商不断涌现,加之贸易摩擦中芯片概念的普及,2018...

发表于 2019-01-07 16:48 382次阅读
群雄混战 AI芯片设计面临的挑战与趋势

基于Kubeflo的应用与开发

本文将介绍以下三部分内容:第一:Kubeflow 的应用;第二:基于 Kubeflow 的开发;第三...

发表于 2019-01-07 14:40 246次阅读
基于Kubeflo的应用与开发

深度学习的发展可能已达极限,但其影响还将持续深远

生活意味着理解我们的行为会产生后果,并承担这些后果带给我们生活的影响,在生活这张网中,我们每个人都不...

发表于 2019-01-06 10:36 377次阅读
深度学习的发展可能已达极限,但其影响还将持续深远

一年时间从零基础到成为研究科学家的历程

如果你是这个领域的新手,并且正在其中的某个部分(或全部)挣扎,请记住,没有人能轻松地做到。总有一些事...

发表于 2019-01-06 10:07 363次阅读
一年时间从零基础到成为研究科学家的历程

ADI与Momenta强强联手,加速自动驾驶高精...

ADI 自动驾驶和安全副总裁Chris Jacobs说:“ADI 一直致力于开发对无人驾驶至关重要的...

发表于 2019-01-04 15:07 513次阅读
ADI与Momenta强强联手,加速自动驾驶高精...

2019年将占主导地位的19项人工智能技术

带有预测分析和场景构建器的资本压力测试解决方案可以帮助组织保持符合监管资本要求。而且,被标记为潜在洗...

发表于 2019-01-04 14:57 436次阅读
2019年将占主导地位的19项人工智能技术

AI芯片设计针对多样化的场景 未来软硬结合将会是...

2018年以来,不少以算法为主的语音、视觉、自动驾驶等公司也开始研发AI芯片,将算法和芯片进行更好的...

发表于 2019-01-04 13:38 276次阅读
AI芯片设计针对多样化的场景 未来软硬结合将会是...

深度学习推动人工智能突飞猛进发展

深度学习是机器学习的一种形式,所采用的神经网络在输入节点和输出节点之间具有许多“深度”层。

发表于 2019-01-04 11:14 388次阅读
深度学习推动人工智能突飞猛进发展

谈谈人工智能的潜在风险

马丁·福特(Martin Ford)2015 年出版的《机器人的崛起》一书曾掀起波澜,该书详细介绍了...

发表于 2019-01-04 10:30 366次阅读
谈谈人工智能的潜在风险

随着深度学习和AI应用的不断演进 AI芯片厂商不...

尽管目前AI在行业应用方面的渗透有限,但是算力的供需还是不平衡。近日,华为智能计算业务部总裁邱隆就向...

发表于 2019-01-04 09:27 316次阅读
随着深度学习和AI应用的不断演进 AI芯片厂商不...

如何用TensorFlow概率编程工具包开发深度...

我们将重点关注在预测已知未知数的领域模型的概率推断。我们将演示贝叶斯校准的能力,其中裂缝传播问题被公...

发表于 2019-01-03 10:33 318次阅读
如何用TensorFlow概率编程工具包开发深度...

深度学习教机器人学走路 实验证明AI是个好老师

2018年12月,来自加利福尼亚大学伯克利分校和谷歌大脑的科学家们开发出了一套人工智能系统,它可以让...

发表于 2019-01-03 10:19 123次阅读
深度学习教机器人学走路 实验证明AI是个好老师

深度学习能力赋能 人工智能机器人可自由行走

人工智能系统,使机器人具备了像人类一样灵巧地掌握和操纵物体的能力,现在,研究人员表示,他们已经开发出...

发表于 2019-01-03 10:08 54次阅读
深度学习能力赋能 人工智能机器人可自由行走

Pieter Abbeel发布了一份资源大礼:《...

Pieter Abbeel 的研究重点特别集中于如何让机器人向人类学习(学徒学习),如何让机器人通过...

发表于 2019-01-03 08:59 308次阅读
Pieter Abbeel发布了一份资源大礼:《...

蚂蚁金服人工智能的发展与应用图谱

面对这些挑战我们构建了一个金融智能的平台,从底层的图像理解,以及使用阿里巴巴集团的语音识别能力,在此...

发表于 2019-01-02 14:37 443次阅读
蚂蚁金服人工智能的发展与应用图谱

Apollo开发者社区对于开发者的影响到底体现在...

「Apollo开发者社区」最新调研数据显示,在研发过程中。38.8%的开发者希望获得硬件支持(购买渠...

发表于 2019-01-02 14:27 482次阅读
Apollo开发者社区对于开发者的影响到底体现在...

声智科技(SoundAI)已于近期完成2亿人民币...

声智科技成立于 2016 年 4 月,主要提供基于 SoundAI Azero 的智能交互系统和服务...

发表于 2019-01-02 10:15 841次阅读
声智科技(SoundAI)已于近期完成2亿人民币...

腾讯优图吴永坚:计算机视觉在产业中的应用实践和前...

从消费互联网到产业互联网,从基于消费场景的不断积累到探索产业场景的应用和落地,这成为腾讯多年发展历程...

发表于 2019-01-02 10:08 944次阅读
腾讯优图吴永坚:计算机视觉在产业中的应用实践和前...

论机器人颜值的重要性

“双眸剪秋水,一手弹春风,歌尽琵琶怨,醉来入梦中”,这首五言绝句的作者并不是人,而是机器。记者从昨日...

发表于 2019-01-01 11:37 326次阅读
论机器人颜值的重要性

什么是深度学习人工智能的深度学习详细资料概述

2016年,AlphaGo 击败韩国围棋冠军李世石,在媒体报道中,曾多次提及“深度学习”这个概念。而...

发表于 2018-12-31 17:45 629次阅读
什么是深度学习人工智能的深度学习详细资料概述

我们可以利用纯监督深度学习方法训练出一个熟练的自...

在传统的规划模块中有许多算法,这些算法决定了车辆沿路线的确切路径,以及相对于其他车辆的速度和距离。C...

发表于 2018-12-31 12:12 200次阅读
我们可以利用纯监督深度学习方法训练出一个熟练的自...

高级自动驾驶汽车部署的实际挑战

加州PATH(Partners for Advanced Transit and Highways,...

发表于 2018-12-31 09:57 230次阅读
高级自动驾驶汽车部署的实际挑战

分析预测未来人工智能领域的行业生态及应用

人工智能是一门综合了计算机科学、生理学、哲学的交叉学科。凡是使用机器代替人类实现认知、识别、分析、决...

发表于 2018-12-29 15:49 1048次阅读
分析预测未来人工智能领域的行业生态及应用

2018机器人领域“吸金”排行:Uber狂揽31...

不过,要说这起致命事故对Uber造成了巨大伤害,那倒也没有。不仅恢复了测试,在发生事故至今的日子里,...

发表于 2018-12-29 11:05 967次阅读
2018机器人领域“吸金”排行:Uber狂揽31...

英伟达团队使用深度学习,能将任意视频变为“高清慢...

值得一提,这篇论文的第一作者,是本硕毕业于西安交通大学、现在马萨诸塞大学阿默斯特分校读博四的 Hua...

发表于 2018-12-29 09:25 549次阅读
英伟达团队使用深度学习,能将任意视频变为“高清慢...

谷歌新研究使用连续拍摄的一对非模糊图像,能够合成...

他们设计的神经网络架构包括一个新的“线性预测”(line prediction)层,它会教一个系统从...

发表于 2018-12-29 09:11 333次阅读
谷歌新研究使用连续拍摄的一对非模糊图像,能够合成...

预计在2019年将进入被广泛采用阶段的十大技术

自动语音垃圾(robocall)预防。垃圾电话是一个日益复杂的问题,例如假冒受害者家属和商业伙伴的来...

发表于 2018-12-28 10:11 485次阅读
预计在2019年将进入被广泛采用阶段的十大技术

“深度学习”虽然深奥,本质却很简单

但就像爱情,“深度学习”虽然深奥,本质却很简单。无论是图像识别还是语义分析,机器的“学习”能力都来源...

发表于 2018-12-27 15:15 596次阅读
“深度学习”虽然深奥,本质却很简单

构建明星替身:虚拟形象可能比明星还厉害

此外,CV团队还在探索在讲话时如何更自然,并对视觉语音的研究涉及训练AI来识别各类人的说话方式、脸部...

发表于 2018-12-27 09:25 479次阅读
构建明星替身:虚拟形象可能比明星还厉害

全面阐述GNN及其方法和应用,深度学习的最大软肋...

在内容上,模型方面,本文从GNN原始模型的构建方式与存在的问题出发,介绍了对其进行不同改进的GNN变...

发表于 2018-12-27 09:21 687次阅读
全面阐述GNN及其方法和应用,深度学习的最大软肋...

AI今年最大进展是什么?2019年AutoML、...

KDnuggets邀请11位来自工业、学术和技术一线的人员,回顾2018年AI的进展,并展望2019...

发表于 2018-12-26 17:39 2125次阅读
AI今年最大进展是什么?2019年AutoML、...

2018年ML/AI领域最重要的进展是什么?

除了这些之外,还有其他一些进步,比如Facebook的多语言嵌入。而且,我们也看到了这些方法被整合到...

发表于 2018-12-26 14:56 480次阅读
2018年ML/AI领域最重要的进展是什么?

重读Youtube深度学习推荐系统论文不同体验和...

所以作者是先用 word2vec 方法对 video 和 search token 做了 embed...

发表于 2018-12-26 14:53 367次阅读
重读Youtube深度学习推荐系统论文不同体验和...

院士反深度学习 人工智能永远在路上

针对深度学习的技术瓶颈,清华大学张钹等多位院士、教授给出了自己的研究思路。

发表于 2018-12-26 14:31 545次阅读
院士反深度学习 人工智能永远在路上

主流深度学习框架比较

发表于 2018-12-26 11:10 71次阅读
主流深度学习框架比较

Win10系统进行深度学习时系统C盘满了,正确卸载一些非必要的内容的方法

发表于 2018-12-26 10:45 62次阅读
Win10系统进行深度学习时系统C盘满了,正确卸载一些非必要的内容的方法

Facebook发布全卷积神经网络语音识别模型,...

在可学习的前端中,原始音频首先输入到一个宽度为2的卷积中,用于模仿梅尔滤波器特征中的前处理步骤。随后...

发表于 2018-12-26 09:02 428次阅读
Facebook发布全卷积神经网络语音识别模型,...

2018年,机器学习和人工智能领域最重要的突破是...

正如Xavier Amatriain说的那样,深度学习的寒冬不会到来——这项技术已经用到产业里并带来...

发表于 2018-12-26 08:59 746次阅读
2018年,机器学习和人工智能领域最重要的突破是...

深度学习框架TensorFlow&TensorFlow-GPU详解

发表于 2018-12-25 17:21 116次阅读
深度学习框架TensorFlow&TensorFlow-GPU详解

NeurIPS首届多智能体竞赛,中国团队展现世界...

启元世界是一家2017年成立的以认知决策智能技术为核心的公司,由前阿里、Netflix、IBM的科学...

发表于 2018-12-25 09:58 603次阅读
NeurIPS首届多智能体竞赛,中国团队展现世界...

计算机视觉神经网络资料全集

发表于 2018-12-24 11:52 104次阅读
计算机视觉神经网络资料全集

CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录

发表于 2018-12-24 11:51 83次阅读
CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录

CV之YOLO:深度学习之计算机视觉神经网络tiny-yolo-5clessses训练自己的数据集全程记录

发表于 2018-12-24 11:50 85次阅读
CV之YOLO:深度学习之计算机视觉神经网络tiny-yolo-5clessses训练自己的数据集全程记录

全球AI挑战赛”年度总决赛在京收官

在接受猎云网等少数媒体的采访中,创新工场人工智能工程院执行院长王咏刚谈及此次参赛队伍所取得的成绩认为...

发表于 2018-12-24 11:48 497次阅读
全球AI挑战赛”年度总决赛在京收官

利用ECS进行深度学习详细攻略

发表于 2018-12-24 11:47 57次阅读
利用ECS进行深度学习详细攻略

周报:谷歌开源针对排序学习应用的最新成果

相关报道认为,捷克此举与前两天捷克安全部门对中国通讯产品发出的安全警告有关。近日外媒报道,由于国家安...

发表于 2018-12-24 10:56 2472次阅读
周报:谷歌开源针对排序学习应用的最新成果

深度学习为肿瘤诊疗带来全新解决方案

连心科技将机器学习、深度学习技术与放射治疗相结合,实现危及器官和靶区的自动分割。

发表于 2018-12-24 10:24 339次阅读
深度学习为肿瘤诊疗带来全新解决方案

为什么基于梯度的方法能够在深度学习的优化中行之有...

神经网络的优化本质上是一个非凸问题,而简单的基于梯度的算法在实践中似乎总是能够解决这类问题。

发表于 2018-12-24 09:41 398次阅读
为什么基于梯度的方法能够在深度学习的优化中行之有...

盘点2018发生与未发生的人工智能革命

回顾2018年,人工智能在这一年中继续在数字领域迅猛增长,并将其神奇的力量注入到几乎每个行业的每个角...

发表于 2018-12-23 11:36 426次阅读
盘点2018发生与未发生的人工智能革命

AI真正的核心是深度学习 伪AI终将被人识破

人工智能有多火?看看2018北京安博会现场就可得知,据不完全统计,70%的企业都在说人工智能,而在展...

发表于 2018-12-23 11:06 413次阅读
AI真正的核心是深度学习 伪AI终将被人识破

深度学习在机器人行业中的应用

迄今为止,大多数人工智能(AI)研究都集中在视觉方面。多亏了机器学习,尤其是深度学习,我们现在有了对...

发表于 2018-12-23 09:05 365次阅读
深度学习在机器人行业中的应用

探索如何构建一个强大的视觉层次,使其成为高性能的...

这与全连接层完全相反。在上面的例子中,我们的输入特征为 5*5=25,输出数据为 3*3=9. 如果...

发表于 2018-12-22 15:45 404次阅读
探索如何构建一个强大的视觉层次,使其成为高性能的...

腾讯突传大消息 涉足食品领域?

当我们还在为无处不在的不良商贩、劣质食品,而痛恨不已、无比愤怒的时候,突然传来了一个波及整个食品行业...

发表于 2018-12-22 11:08 870次阅读
腾讯突传大消息 涉足食品领域?

芯片厂商的发展加速物联网落地与创新

物联网信息科技席卷全球,被视为第四次科技革命,并承载了世界梦想,同时,也是全球经济增长新引擎,能为全...

发表于 2018-12-22 07:26 529次阅读
芯片厂商的发展加速物联网落地与创新

AI算力与功耗如何平衡?清华大学尹首一教授解读I...

12月20日,在深圳会展中心2号馆2A会议室,由雷锋网主办的AI IoT+智慧城市高峰论坛上,清华大...

发表于 2018-12-21 16:41 1264次阅读
AI算力与功耗如何平衡?清华大学尹首一教授解读I...

DeepMind这项研究到底意味着什么?会带来什...

在CASP 10之前,整个增长曲线10年来基本上是平缓的。CASP11的提升,是因为引入了协同进化的...

发表于 2018-12-21 16:06 369次阅读
DeepMind这项研究到底意味着什么?会带来什...

自动机器学习技术在推荐系统中的应用

今天,推荐系统的模型和应用已经相当成熟,然而部署一套全新的推荐系统,甚至仅在已有系统上添加数据维度和...

发表于 2018-12-21 15:53 519次阅读
自动机器学习技术在推荐系统中的应用

以深度学习为核心的计算机视觉技术具有视觉美感吗

我们看到了智能技术在影像辨识、侦测上的突破,甚至落地为产品。很多人问,这些深度学习为核心的计算机视觉...

发表于 2018-12-21 11:07 242次阅读
以深度学习为核心的计算机视觉技术具有视觉美感吗

CV:基于深度学习实现目标检测之GUI界面产品设计并实现图片识别、视频识别、摄像头识别

发表于 2018-12-21 10:31 58次阅读
CV:基于深度学习实现目标检测之GUI界面产品设计并实现图片识别、视频识别、摄像头识别

深度学习实现目标检测俄罗斯总统普京对沙特王储摊的“友好摊手”瞬间

发表于 2018-12-21 10:31 61次阅读
深度学习实现目标检测俄罗斯总统普京对沙特王储摊的“友好摊手”瞬间

深度学习与机器人之间的关系浅析

迄今为止,大多数人工智能(AI)研究都集中在视觉方面。多亏了机器学习,尤其是深度学习,我们现在有了对...

发表于 2018-12-21 09:38 247次阅读
深度学习与机器人之间的关系浅析

Py之TFCudaCudnn:Win10下安装深度学习框架Tensorflow+Cuda+Cudnn最简单最快捷最详细攻略

发表于 2018-12-20 10:35 56次阅读
Py之TFCudaCudnn:Win10下安装深度学习框架Tensorflow+Cuda+Cudnn最简单最快捷最详细攻略

2018年最吸引眼球的论文都有哪些?

从学科分类上看,与我们息息相关的医学与健康科学论文入榜最多,共有 44 篇。从国家分类上看,美国学者...

发表于 2018-12-20 09:39 369次阅读
2018年最吸引眼球的论文都有哪些?

Apollo感知系列干货分享

任何一个系统的感知算法里,仅仅有深度学习是不够的,一定要有数据驱动的模型计算(模式较重,需要收集数据...

发表于 2018-12-19 15:59 375次阅读
Apollo感知系列干货分享

最后一片“处女地”,车载激光雷达“仍无定论”

固态激光雷达,无疑是目前汽车制造商“翘首以盼”的,考虑到今年有许多公司对外宣传他们自己的固态激光雷达...

发表于 2018-12-19 15:56 651次阅读
最后一片“处女地”,车载激光雷达“仍无定论”

Uber一个跨多台机器的分布式深度学习训练框架引...

Uber上个月加入了Linux基金会,并加入了AT&T和诺基亚等其他科技公司的行列,支持LF深度学习...

发表于 2018-12-19 15:50 856次阅读
Uber一个跨多台机器的分布式深度学习训练框架引...