张飞软硬开源基于STM32 BLDC直流无刷电机驱动器开发视频套件,👉戳此立抢👈

人工智能的两大流派的优劣比较

AI科技大本营 2019-07-18 15:16 次阅读

近期,DeepMind发表论文,称受Marta Garnelo和 Murray Shanahan的论文“Reconciling deep learning with symbolic artificial intelligence: representing objects and relations”启发,他们提出了一种新的架构,可将目前人工智能的两大流派符号派和神经网络派相结合,并取得良好效果。但是对于如此重要的论文,在国内的主流技术论坛上竟然没有什么的解读与评论,经过了两天的研究,笔者先将我对PrediNet的一些成果发布出来,供各位参考。

人工智能的两大流派的优劣比较

人工智能主要分为符号流、神经网络、遗传等几个流派,目前是神经网络和符号流比较占上峰,但是由于几个流派间基本前提不尽相同,如何将几个流派的思想整合,一直是个比较难以解决的问题,这里简要介绍一下符号和神经网络两大流派。

符号流派认为,一组对象之间存在关系可以用符号表示,符号的组合(and, or, not,等等),可以参与推理过程,但是在DeepMind之前,符号与逻辑推理的关系都是通过专家人工指定的,而不是通过对计算机进行训练获取相应的模型。

神经网络学派则是受到神经元之间相互连接的作用为启发,尤其是以神经网络为代表的算法,其实是先随机给予每个神经元一个权重(weights),然后通过与最终结果的比较,不断训练得到最终的模型。

神经网络学派的优势是在海量数据处理及预测方面表现非常好,/root但是其模型复用性不强,比如识别人脸的模型只能用于训练人脸,而不能用来识别人手或者猫脸等其它特征;而符号学派的命题型结论可以推广,但是由于过于依赖人力,所以发展缓慢。

PrediNet结合两大流派思想的方式

在PrediNet引用的论文“Reconciling deep learning with symbolic artificial intelligence: representing objects and relations”提出了这样一种架构,先由Relation Network处理,其中Relation(关系)是由one-hot向量表示的,也就是每个relation都是彼此独立的,彼此不相关,比如性别中的男、女就是彼此独立的,用one-hot向量表示就是(0,1)和(1,0),而如果这时把他们放入同一维度表示为1和2,就会出现一些问题,因为1和2在数学就有倍数关系存在相关性了。如果读者不好理解,可以把relation简单理解为符号(symbol),输入序列经过关系网络(Relation Network)的处理,输出给MLP(多层感知机),得到最终输出。

这次DeepMind提出的PrediNet方案,与之前的架构不尽相同,输入先经过CNN(卷积神经网络)处理,再由PrediNet处理,最后由MLP(多层感知机)进行输出如下图所示,读者可以把PrediNet看做是一个管道,连接在CNN和MLP之间。而实验的结果也说明,PrediNet训练完成后是可以被复用到的。

所以划重点,这次 DeepMind 提出的 PrediNet 是一种可以被神经网络派算法所使用的管道层,而且 PrediNet 这个管道层还具备一定的通用性。

PrediNet的工作原理简述

PrediNet其实是一种降维的手段,将高维数据(如图像)转换为低维的命题表示形式。这里先把论文的原文翻译一下:

PrediNet的工作分为三个阶段:注意、绑定和评估。注意阶段,其实就是使用注意力算法选取对象,绑定阶段用计算一组三个位置关系的前两个,评估阶段计算每个谓词剩余参数的值,使结果命题为真。

具体地讲,PrediNet模块由k个头组成,每个头计算对象对之间的j个关系。对于给定的输入L,每个头h使用共享权重的WS,计算相同的关系集合,但是每个头h都基于匹配键查询(key-query matching)的点积(dot-product)注意力算法,去选取对象序列的。

每个头h计算一对单独的查询Qh 1和Qh 2(通过Wh Q1和Wh Q2),但是key space K(由WK定义)在heads之间共享。将得到的注意力掩码(attention mask)对直接应用于L,得到E1和E2,再将E1和E2由一个线性映射(Ws)到一维空间,将继续送入一个元素比较器(element-wise comparation),得到一个差分向量D, 最后,将所有k个头的输出连接起来,得到最终的向量R。向量R是表示k个头和j个关系的PrediNet模块的最终输出。

cmake --build .

这里我做一下解释,首先PrediNet将工作分配N个HEAD去完成,其中每个HEAD使用了两个独立的WQ和WQ2以及一个共享的KEY,基于匹配键查询(key-query matching)的点积(dot-product)注意力算法得到一个掩码(mask),这也就是注意阶段,然后将掩码()mask)应用到输入L上,得到E1和E2,这也就是绑定阶段。接下来使用WS对于E1和E2将降维,送入比较器得到D,并结合所有HEAD得到最终结果。

如果要深入理解PrediNet,其实关键是要理解基于WQ(实际上是查询),WK(实际是键值)的匹配键查询的点积注意力算法(key-query matching dot-product),不过鉴于博主这种技术前沿的解读与分享阅读量一直很低,所以也就不再展开了。不过如果本篇阅读能超过520的表白秘笈(https://blog.csdn.net/BEYONDMA/article/details/90300624),那么下周我就来继续分享注意力算法的相关内容。

原文标题:AlphaGo之父DeepMind再出神作,PrediNet原理详解

文章出处:【微信号:rgznai100,微信公众号:AI科技大本营】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

四轴机器人编程与应用

主题简介:本次直播主要讲解四轴机器人控制器基本原理及组成。四轴机器人的核心技术内嵌人工智能算法的工业级运动控制技术和伺服
发表于 10-30 00:00 11587次 阅读
四轴机器人编程与应用

人工智能的高效性引领传统营销的改革

人工智能不仅仅在军事和生活上带来突破性的改变,在商业方面,人工智能在企业营销领域的应用也逐渐地在扩大....
发表于 08-22 10:15 0次 阅读
人工智能的高效性引领传统营销的改革

人工智能正在兴起新一轮的产业变革

我国作为全球人工智能领域赛道的领跑者,大力发展人工智能技术的目的,并不仅仅是为增强军事严防的力量,更....
发表于 08-22 10:09 2次 阅读
人工智能正在兴起新一轮的产业变革

5G让人工智能反应更迅速

当5G遇上人工智能是何场景?三星为你描绘未来蓝图!
的头像 陈翠 发表于 08-21 17:48 497次 阅读
5G让人工智能反应更迅速

机器视觉系统培训的详细资料合集免费下载

机器视觉系统是指利用机器替代人眼做出各种测量和判断。机器视觉是工程领域和科学领域中的一个非常重要的研....
发表于 08-21 17:09 16次 阅读
机器视觉系统培训的详细资料合集免费下载

人工智能将在新零售行业中发挥作用

如今,零售行业不断发展,数字化的商品信息、高效的仓储和物流,从产品的生产到配送,正形成一个完整的智慧....
发表于 08-21 16:25 20次 阅读
人工智能将在新零售行业中发挥作用

人工智能的商业化才是AI数据真正的突破点

在数字经济下,人工智能作为第四次产业变革的引擎,已逐渐渗透到各行业中,为人类社会和经济发展带来变革。
发表于 08-21 16:21 25次 阅读
人工智能的商业化才是AI数据真正的突破点

Facebook将拟用人工智能进行新闻编辑

据外媒报道,长期以来,Facebook始终依赖于算法来为用户选择想要看的新闻。现在,这家社交网络巨头....
发表于 08-21 16:11 44次 阅读
Facebook将拟用人工智能进行新闻编辑

奇信智能公司携物联网机器人“奇信小π”亮相华为云人工智能高峰论坛

在此次的活动中,汇聚了众多人工智能领域优秀企业,华为生态伙伴之一——奇信智能公司携物联网机器人“奇信....
的头像 倩倩 发表于 08-21 15:32 161次 阅读
奇信智能公司携物联网机器人“奇信小π”亮相华为云人工智能高峰论坛

物联网技术是如何支持预测性维护来实现提高产品质量的

如今,有大量不同的状态监控技术可用于实时跟踪资产健康状况。这意味着您可以非常清楚地看到机器何时处于峰....
发表于 08-21 15:14 31次 阅读
物联网技术是如何支持预测性维护来实现提高产品质量的

为什么劣质数据不会减少推迟物联网计划的原因

理论上听起来都很棒。然而,许多组织正在努力冒险。早在2016年,思科副总裁Maciej Kranz发....
的头像 倩倩 发表于 08-21 15:10 57次 阅读
为什么劣质数据不会减少推迟物联网计划的原因

2019年内蒙古物联网与人工智能峰会在呼和浩特召开

内蒙古自治区科技厅厅长孙俊青在致辞时说,随着5G时代的到来,物联网和人工智能技术将进一步改变我们的生....
的头像 倩倩 发表于 08-21 15:03 152次 阅读
2019年内蒙古物联网与人工智能峰会在呼和浩特召开

2019年“创客中国”物联网应用中小企业创新创业大赛暨颁奖仪式

比赛分为企业组和创客组,最终征集项目188个,其中企业组114个、创客组74个,涵盖“传感器、芯片、....
的头像 倩倩 发表于 08-21 14:36 139次 阅读
2019年“创客中国”物联网应用中小企业创新创业大赛暨颁奖仪式

博为峰致力于将物联网技术和人工智能技术应用于卫浴设备上

智能卫浴设备的质量检测涉及到IOT芯片、人工智能算法、设备交互、人物交互、物物交互、云端控制等多种新....
的头像 倩倩 发表于 08-21 14:33 148次 阅读
博为峰致力于将物联网技术和人工智能技术应用于卫浴设备上

斯塔西奥加入了微软的人工智能(AI)部门

斯塔西奥于2012年加入苹果公司,成为Siri团队的一员,他在该公司工作了7年多,于今年5月份离开了....
的头像 倩倩 发表于 08-21 14:23 263次 阅读
斯塔西奥加入了微软的人工智能(AI)部门

英特尔公司公布了其最新的处理器

英特尔表示,该芯片由位于以色列海法的开发工厂开发,名为Nervana NNP-I或Springhil....
的头像 倩倩 发表于 08-21 14:19 153次 阅读
英特尔公司公布了其最新的处理器

Vicor将在开放式数据中心委员会峰会上展示其最新48V电源模块创新技术

ODCC 峰会是中国主要的数据中心盛会,将领先的云计算及高性能计算专家齐聚一堂,共同讨论高级先进技术....
发表于 08-21 11:41 68次 阅读
Vicor将在开放式数据中心委员会峰会上展示其最新48V电源模块创新技术

《新一代人工智能行业自律公约》全文

作为重要参与成员单位,Testin云测持续发力人工智能行业,旗下AI数据服务品牌——云测数据,通过自....
的头像 倩倩 发表于 08-21 11:39 167次 阅读
《新一代人工智能行业自律公约》全文

云计算与人工智能的关系会越来越密切

人工智能的发展需要三个重要的基础,分别是数据、算力和算法,而云计算是提供算力的重要途径,所以云计算可....
的头像 倩倩 发表于 08-21 11:37 223次 阅读
云计算与人工智能的关系会越来越密切

现有刑法是否能够完全规制人工智能犯罪?

在学校上课时,这位明星法学教授总喜欢从提问开始、启发学生思考。在今天的讲座现场,刘宪权的讲述同样是从....
的头像 倩倩 发表于 08-21 11:33 151次 阅读
现有刑法是否能够完全规制人工智能犯罪?

安徽人工智能产业如何打造?多位省政协委员给出答案

省政协委员,合肥市政协主席韩冰认为,我省人工智能产业发展是由智能语音、机器人等单点技术带动,由此造成....
的头像 倩倩 发表于 08-21 11:27 239次 阅读
安徽人工智能产业如何打造?多位省政协委员给出答案

世界人工智能大会的最高荣誉“SAIL奖”全球品牌推广宣布启动

据了解,论坛主办单位普陀区近年来积极抓住人工智能产业发展的重大契机,不断推进和布局人工智能产业。积极....
的头像 倩倩 发表于 08-21 11:24 123次 阅读
世界人工智能大会的最高荣誉“SAIL奖”全球品牌推广宣布启动

“湾区智谷人工智能孵化器”揭牌仪式在龙华区智慧谷创新园举行

具体机构方面,最高收益为31.73%,由幻方量化旗下相关产品取得,明汯投资以28.10%的收益率位居....
的头像 倩倩 发表于 08-21 11:17 139次 阅读
“湾区智谷人工智能孵化器”揭牌仪式在龙华区智慧谷创新园举行

人工智能与台风——感知、救援、预防

在人工智能问世之前,救援人员通过查看灾区的空中红外成像来寻找被困人员。但是从无人机上筛选照片和视频需....
的头像 倩倩 发表于 08-21 11:14 68次 阅读
人工智能与台风——感知、救援、预防

知识图谱成为人工智能(AI)领域备受关注的重要一环

近年来,人工智能已经从各个方面开始改变我们的生活,语音识别、语音合成、计算机视觉等感知技术方兴未艾,....
的头像 倩倩 发表于 08-21 11:07 286次 阅读
知识图谱成为人工智能(AI)领域备受关注的重要一环

创造人工智能的初心只是为了辅佐人类

谷歌公司开发的人工智能Duplex,号称能够帮助用户打电话预定餐厅、发廊,今年5月也被曝出大量使用人....
发表于 08-21 10:30 19次 阅读
创造人工智能的初心只是为了辅佐人类

人工智能的智能程度能发展到什么地步

一直以来大家都在讨论人工智能的话题,我们好像总是担心未来人工智能会喧宾夺主,所以我们每次看着新闻报道....
发表于 08-21 10:28 19次 阅读
人工智能的智能程度能发展到什么地步

人工智能将会是这个时代最强大的力量

由于图形和人工智能芯片的需求在第二财季有所回升,Nvidia 财报公布的盈利和收入超出分析师预期。
发表于 08-21 10:24 140次 阅读
人工智能将会是这个时代最强大的力量

这家“老牌”科技公司,能快速地使用AI与全球产业趋势结合

从个人计算机时代开始,当人们开始讨论技术、科技时,微软便是所有人都无法绕开的公司。进入到人工智能时代....
的头像 LiveVideoStack 发表于 08-21 10:08 66次 阅读
这家“老牌”科技公司,能快速地使用AI与全球产业趋势结合

5G技术的落地,这些新技术,是否能让共享单车不再“横七竖八”?

“您本次骑行未规范停车,多次违规将收取调度费。文明停车,从我做起。”在上海莘庄地铁站北广场附近,解放....
的头像 Midifan 发表于 08-21 09:14 200次 阅读
5G技术的落地,这些新技术,是否能让共享单车不再“横七竖八”?

2019我国机器人市场规模及趋势预测

我国是工业机器人应用大国,行业迅猛发展,产量持续增长。2015年产量仅32996台。2017年突破1....
的头像 墨记 发表于 08-21 08:28 1113次 阅读
2019我国机器人市场规模及趋势预测

人工智能改变的下一个世界是什么样的

自计算机发明之后,人类一直在寻找“下一件改变世界的大事”。虽然当下大多数人使用的手机都比最早问世的超....
发表于 08-20 15:56 63次 阅读
人工智能改变的下一个世界是什么样的

在未来人工智能与人类将如何合作

从语音助手、刷脸识别到智能家居,人们享受着人工智能的便利与高效;“未来AI是不是要抢我的饭碗?”“A....
发表于 08-20 15:53 189次 阅读
在未来人工智能与人类将如何合作

为什么说人工智能的发展比5G更重要

2019年,带有人工智能技术硬件加速器(特别是神经网络)的特定微型计算机得到普遍使用。所有关键的硬件....
发表于 08-20 15:49 158次 阅读
为什么说人工智能的发展比5G更重要

大数据、人工智能催生物联网数字价值

在数字经济时代,数据是重要的生产要素,物联网则成为数据的主要来源。然而,目前只有较少的人或企业生成、....
的头像 倩倩 发表于 08-20 15:40 229次 阅读
大数据、人工智能催生物联网数字价值

国际工业与能源物联网创新发展大会新闻通气会在温州市举办

大会拟深入探讨交流国际物联网技术与工业能源深度融合的前沿动态与发展趋势,展示全球特别是温州推动企业运....
的头像 倩倩 发表于 08-20 15:37 186次 阅读
国际工业与能源物联网创新发展大会新闻通气会在温州市举办

智慧警务市场规模,应用分布、案例简述及发展趋势

随着社会经济发展与城市化进程的加快,中国社会维稳压力日益增加,然而警力资源的增长速度远不及潜在危险因....
的头像 GaN世界 发表于 08-20 15:34 96次 阅读
智慧警务市场规模,应用分布、案例简述及发展趋势

反馈循环对于自动化至关重要,但可能被证明是AI的致命弱点

反馈是所有自动控制机器方法的技术核心。美国数学家诺伯特·维纳(Norbert Wiener)在20世....
的头像 倩倩 发表于 08-20 15:27 69次 阅读
反馈循环对于自动化至关重要,但可能被证明是AI的致命弱点

摩尔定律濒临失效,IC产业调整步伐向AI“求解”

在大会上,Cadence公司总裁Anirudh Devgan先生首先提出了“smart by des....
的头像 倩倩 发表于 08-20 15:24 213次 阅读
摩尔定律濒临失效,IC产业调整步伐向AI“求解”

几个领域将会率先实现人工智能技术的落地应用

车联网。车联网领域被认为是当前人工智能技术的一个重要突破口,以自动驾驶为代表的车联网相关技术将在很大....
的头像 倩倩 发表于 08-20 15:21 94次 阅读
几个领域将会率先实现人工智能技术的落地应用

一个日本的人工智能替代公务员的实例

即将达到入学季,最近热门的话题是幼儿园的录取问题,夫妻双方的工作都很忙,报名时间需要花费很多的时间,....
的头像 倩倩 发表于 08-20 15:17 180次 阅读
一个日本的人工智能替代公务员的实例

人工智能内容创作和生产经由第七代微软小冰“迈进”现实

这些虚拟人物可与读者和观众进行实时交互,我们把这一过程叫做‘赋生’。”微软全球资深副总裁,微软(亚洲....
的头像 倩倩 发表于 08-20 15:13 212次 阅读
人工智能内容创作和生产经由第七代微软小冰“迈进”现实

中科凯泽:创新创造价值,人工智能技术赋能实业

目前,公司主打人脸识别技术平台产品,包括人脸闸机、识别门禁、识别锁、客流量统计分析仪、智慧工地和背包....
的头像 倩倩 发表于 08-20 15:09 70次 阅读
中科凯泽:创新创造价值,人工智能技术赋能实业

英国财政大臣拨款7500万英镑用于人工智能研究和开发

剑桥的微软研究院大约20年来一直在研究人工智能,机器学习和深度学习。他们的工作已经进入各种产品和服务....
的头像 倩倩 发表于 08-20 15:08 77次 阅读
英国财政大臣拨款7500万英镑用于人工智能研究和开发

构建高质量数据集,推动人工智能快速发展

当前人工智能还面临诸多挑战,例如数据孤岛问题、隐私保护问题、安全问题等瓶颈。一项2018年的研究显示....
的头像 倩倩 发表于 08-20 15:04 271次 阅读
构建高质量数据集,推动人工智能快速发展

全球正在兴起新一轮科技革命和产业变革

要大力推动AI赋能文化产业创新发展。借鉴英国产业转型升级的成功经验,结合北京文化产业发展的实际情况,....
的头像 倩倩 发表于 08-20 15:00 100次 阅读
全球正在兴起新一轮科技革命和产业变革

人工智能的“无间道”还将长时间上演?

从街头巷尾刷脸支付的无人售货机,到公共场所的安防监控,甚至是影视制作、国防事业,人工智能正深刻地改变....
的头像 倩倩 发表于 08-20 14:55 251次 阅读
人工智能的“无间道”还将长时间上演?

AI中国,智造未来:中国人工智能科普教育道路上一个不平凡的例子

“智能工艺小助手”为主题的人工智能创作项目,让小选手们从实际生活出发,结合创造栗人工智能软硬件,创作....
的头像 倩倩 发表于 08-20 14:49 488次 阅读
AI中国,智造未来:中国人工智能科普教育道路上一个不平凡的例子

2019全国青少年威盛中国芯HTC人工智能科普教育展演活动

据悉,第十届全国人大常委会副委员长、中国关心下一代工作委员会主任顾秀莲、中国工程院倪光南院士、中国电....
的头像 倩倩 发表于 08-20 14:45 79次 阅读
2019全国青少年威盛中国芯HTC人工智能科普教育展演活动

人工智能让红绿灯“聪明”起来

系统以云计算平台为基础,以“数据驱动+人工智能”为核心,通过提升交通泛感知能力,依托机器深度智能学习....
的头像 倩倩 发表于 08-20 14:42 150次 阅读
人工智能让红绿灯“聪明”起来

《新一代人工智能行业自律公约》正式发布

人工智能连续三年被写入政府工作报告,其推动经济增长与时代进步的“新引擎”角色已经成为共识。而数据,正....
的头像 倩倩 发表于 08-20 14:35 188次 阅读
《新一代人工智能行业自律公约》正式发布

Firefly集群服务器解决方案

方案背景 移动互联应用的快速发展和云计算、大数据应用的拓展和深化,数据中心已由传统的大型机、小型机逐步转移到x86服务器,...
发表于 08-16 15:09 309次 阅读
Firefly集群服务器解决方案

机器人的自主决策可靠吗?机器视觉在智能领域占据什么地位?

工业视觉中,机器人视觉领域在技术和商用程度上均有较好的表现。本文从机器人视觉的市场需求、技术原理以及发展趋势三个层面,深...
发表于 08-16 04:00 144次 阅读
机器人的自主决策可靠吗?机器视觉在智能领域占据什么地位?

RPA是企业在人工智能时代抢占先机的关键

2019年,RPA突然间就火了... UiPath在2019年5月宣布获得5.8亿美元融资,估值70亿美元,成为国际AI领域估值最高的企业之一...
发表于 08-15 15:01 392次 阅读
RPA是企业在人工智能时代抢占先机的关键

人工智能和机器学习怎么应用于医学?

经美国食品药品监督管理局(FDA)批准后,第一批可穿戴式数字健康监测仪目前刚刚上市,并集成在诸如智能手表之类的消费产品中。...
发表于 08-13 07:22 32次 阅读
人工智能和机器学习怎么应用于医学?

人工智能后续以什么形式发展?

从2014年开始,人工智能逐渐成为科技领域最热门的概念,被科技界,企业界和媒体广泛关注。作为一个学术领域,人工智能是在1956年...
发表于 08-12 07:53 144次 阅读
人工智能后续以什么形式发展?

AI发展对芯片技术有什么影响?

现在说AI是未来人类技术进步的一大方向,相信大家都不会反对。说到AI和芯片技术的关系,我觉得主要体现在两个方面:第一,A...
发表于 08-12 06:38 219次 阅读
AI发展对芯片技术有什么影响?

AI在智能手机有什么玩法?

下一波新体验将源自支持智能手机中 AI 新使用情形的应用,其中包括语言处理、人类活动预测和增强型数据加密等。...
发表于 08-12 06:35 158次 阅读
AI在智能手机有什么玩法?

生物学与人工智能的合作

生物智能与AI——关乎创造、关乎理解(上)
发表于 08-08 14:31 70次 阅读
生物学与人工智能的合作

怎么在数据中找到金箔?

数据大杂烩看起来像什么? 美光商务拓展经理Eric Caward说,他将数据集合想象成一座山,其中每块泥土和岩石均代表一条信息。乍...
发表于 08-08 06:33 77次 阅读
怎么在数据中找到金箔?

视觉物联网方案的进展如何?

物联网(IoT)将涉及大量的边缘设备,需要由FOG节点将处理后的数据进行聚合,进而发送到云/数据中心,然后从云/数据中心再发送...
发表于 08-07 08:42 78次 阅读
视觉物联网方案的进展如何?