DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

中国人工智能学会 2018-01-31 08:58 次阅读

神经网络的强大功能有目共睹,但它往往需要大量与目标测试领域数据分布相似的训练数据;而用于符号领域的归纳逻辑编程只需少量数据,却无法对抗噪声,适用领域也很狭窄。

DeepMind在最近发表的一篇论文中,提出了可微分归纳逻辑编程方法∂ILP,既能解决传统归纳逻辑编程擅长的符号类任务,也对噪声数据、训练集中的误差有一定容忍度,还可以通过梯度下降来训练。

怎么样?我们来看看DeepMind在官方博客上对这种方法的解读:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

想象一下踢足球的场景,球到了你脚下,你决定把它传给没人盯防的前锋。这个看似简单的行为,需要两种不同的思维。

首先,你认识到自己脚下有一个球,这需要的是直观的感性思维——你没办法简单地描述出你是怎么知道脚下有个球的。

其次,你决定把球传给特定的一个前锋。这个决策需要概念性思维,你的决定依赖于理由——你把球传给这个前锋的原因,是没有人盯防她。

这种区别对我们来说很有意思,因为这两类思维对应着两种不同的机器学习方法:深度学习和符号程序合成(symbolic program synthesis)。

深度学习专注于直观的感性思维,而符号程序合成专注于概念性的、基于规则的思考。这两个系统各有各的优点,深度学习系统能适用于噪声数据,但难以解释,而且需要大量训练数据;符号系统更易于解释,需要的训练数据也更少,但一遇到噪声数据就不行了。

人类认知将这两种截然不同的思维方式无缝结合在了一起,但想要把这种结合复制到一个AI系统里,我们还不太清楚是否可能、如何做到。

我们最近在《JAIR》期刊(Journal of AI Research)上发表的论文表明,系统可以将直观的感性思维和概念性的可解释推理结合起来。我们所描述的∂ILP(可微分归纳逻辑编程,Differentiable Inductive Logic Programming)系统具有下列特性:抗噪声、数据上很经济、能产生可解释的规则。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

我们用一个归纳任务来演示∂ILP的工作原理:

已知一对表示数字的图片,系统需要根据左侧图像数字是否小于右侧图像的数字,输出0或1的标签,如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

解决这个问题涉及两种思维方式。从图像中认出数字,需要直观的感性思维;要整体理解“小于”关系,则需要概念性的思考。

其实,如果给标准的深度学习模型(例如带有MLP的卷积神经网络)提供足够的训练数据,它能学会有效地解决这个问题,训练完成后给它一对从未见过的新图像,它也可以正确分类。

但实际上,只有每对数字你都给它多个样例,它才能正确地泛化。这个模型擅长视觉上的泛化,比如说测试集中的每一对数字它都见过了,要泛化到新的图像,就很容易(见下图绿色方块)。但它不适用于符号的泛化,比如说它就不能泛化到从未见过的数字(见下图蓝色方块)。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

马库斯(Gary Marcus)、Joel Grus等研究者最近都撰文指出了这一点。

不同于标准的神经网络,∂ILP能够进行符号的泛化;它和标准的符号程序也不一样,可以进行视觉上的泛化。∂ILP从样例中学习可读、可解释、可验证的,明确的程序。已知部分样例(也就是预期的结果,下图中的desired results),∂ILP能生成一个满足需求的程序。它用梯度下降从程序空间中搜索,如果程序的输出与参考数据需要的输出相冲突,系统就会修改程序以更好地匹配数据。

∂ILP的训练过程如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

∂ILP能进行符号性的泛化,给它足够多x

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

上图总结了我们的“小于”实验:蓝色曲线表示标准的深度神经网络,无法正确泛化到从未见过的数字对,相比之下,在只用40%数字对训练过的情况下,绿色曲线表示的∂ILP依然能保持较低的测试误差。这表明,∂ILP能够进行符号性的泛化。

我们相信,对于深度神经网络中是否能够实现符号泛化这个问题,我们的系统能够在某种程度上给予答案。今后,我们计划将类似∂ILP的系统集成到强化学习智能体以及更大的深度学习模块中,赋予系统推理、反应的能力。

原文标题:DeepMind提出可微分逻辑编程,结合深度学习与符号程序优点

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

中国2018 Google开发者大会今天起开放报名

报告显示,今年第一度,全球智能音箱出货量预估达到920万台。其中,亚马逊稳居第一,出货量预计400万....

的头像 科技美学 发表于 08-17 17:23 72次 阅读
中国2018 Google开发者大会今天起开放报名

在当前深度学习比较火热的情景下需要避免的三个坑

深度学习在过去几年一直是人工智能领域最热门的话题。事实上,正是它激发了科学家、政府、大公司以及其他所....

的头像 人工智能学家 发表于 08-17 17:16 46次 阅读
在当前深度学习比较火热的情景下需要避免的三个坑

探讨人工智能技术在心理学研究中的应用前景

人工智能及相关技术的发展,为心理学研究提供了突破性的研究方法和工具;心理学对大脑机制的研究成果运用于....

的头像 人工智能学家 发表于 08-17 16:33 246次 阅读
探讨人工智能技术在心理学研究中的应用前景

浅析人工智能在心理学研究中的应用前景

人工智能及相关技术的发展,为心理学研究提供了突破性的研究方法和工具;心理学对大脑机制的研究成果运用于....

的头像 重庆人工智能 发表于 08-17 16:21 70次 阅读
浅析人工智能在心理学研究中的应用前景

如何将自定义图片输入到TensorFlow的训练模型

对于上述代码中与模型构建相关的代码,请查阅官方《Deep MNIST for Experts》一节的....

的头像 Imagination Tech 发表于 08-17 15:57 37次 阅读
如何将自定义图片输入到TensorFlow的训练模型

GDPR对AI的挑战和基于联邦迁移学习的对策

7月28-29日,由中国人工智能学会和深圳市罗湖区人民政府共同主办,马上科普承办的“2018 中国人....

的头像 中国人工智能学会 发表于 08-17 14:48 96次 阅读
GDPR对AI的挑战和基于联邦迁移学习的对策

世界机器人大会开幕,机器人产业界前沿技术悉数亮相

在回答“除了深度学习之外,还会有何种技术拉动机器人发展”这个问题时,Rolf Pfeifer称,整个....

的头像 机器人在线订阅号 发表于 08-17 14:45 108次 阅读
世界机器人大会开幕,机器人产业界前沿技术悉数亮相

Arm首次公布CPU路线图:每年提升15% 超越低压版i5

Arm此前刚刚在6月初发布了新一代高性能CPU核心Cortex-A76,可搭配10nm、7nm工艺,....

的头像 章鹰 发表于 08-17 10:38 224次 阅读
Arm首次公布CPU路线图:每年提升15% 超越低压版i5

谷歌大牛强推的Distill进展如何?颠覆arXiv等传统论文平台?

Distill 最近的几篇文章实践了这一想法。它们不仅把重要的概念通过交互式结果表现出来,还提供了 ....

的头像 电子发烧友网工程师 发表于 08-17 09:52 81次 阅读
谷歌大牛强推的Distill进展如何?颠覆arXiv等传统论文平台?

消费推动AI,数据共享很重要

目前的人工智能极其依赖于数据的质量,而在如今十分注重隐私的时代,这就变成了一个敏感的话题,有87%的....

的头像 将门创投 发表于 08-17 09:37 99次 阅读
消费推动AI,数据共享很重要

英特尔收购深度学习创业公司Vertex.AI,实现边缘计算的灵活深度学习

据科技博客TechCrunch北京时间8月17日报道,英特尔公司想要把更多人工智能(AI)技术整合到....

的头像 罗欣 发表于 08-17 09:31 204次 阅读
英特尔收购深度学习创业公司Vertex.AI,实现边缘计算的灵活深度学习

Python是机器学习的主流语言,你真的掌握了Python吗?

给定一个包含多个元素的list,让你查找其中出现次数最多的元素,你会怎么做?在下图中,我们介绍了两种....

的头像 论智 发表于 08-17 09:21 57次 阅读
Python是机器学习的主流语言,你真的掌握了Python吗?

Python是机器学习的主流语言,你真的掌握了Python吗?

给定一个包含多个元素的list,让你查找其中出现次数最多的元素,你会怎么做?在下图中,我们介绍了两种....

的头像 论智 发表于 08-17 09:21 83次 阅读
Python是机器学习的主流语言,你真的掌握了Python吗?

上海交大提出切片循环神经网络,其速度是标准RNN的136倍

每个数据集的结果如表2所示。我们选择不同的n和k值,得到不同的SRNN。例如,SRNN(16,1)表....

的头像 新智元 发表于 08-17 08:48 153次 阅读
上海交大提出切片循环神经网络,其速度是标准RNN的136倍

如何用深度学习模型,模仿人类的教练过程?

1940年代,科学家们模仿神经元的解剖学构造,发明了一种数据结构——神经元 perceptron。科....

的头像 新智元 发表于 08-17 08:31 271次 阅读
如何用深度学习模型,模仿人类的教练过程?

美国研究人员新近开发出一种人工智能模型,能够为胶质母细胞瘤患者设计出最小剂量给药方案

长期以来,研究人员一直希望能够找到一种方法帮助确定是否患者会对新型的检查点抑制剂免疫疗法产生反应,以....

的头像 人工智能学家 发表于 08-16 18:21 365次 阅读
 美国研究人员新近开发出一种人工智能模型,能够为胶质母细胞瘤患者设计出最小剂量给药方案

一种简单的,循序的方式讲解神经网络

一个神经元通常具有多个树突,主要用来接受传入信息;而轴突只有一条,轴突尾端有许多轴突末梢可以给其他多....

的头像 人工智能学家 发表于 08-16 18:17 385次 阅读
一种简单的,循序的方式讲解神经网络

AWS战略布局机器学习和人工智能,加快其平台化步伐

自2006年业务上线,12年来AWS一骑绝尘,甩开微软和谷歌,在IaaS(Infrastructur....

的头像 人工智能 发表于 08-16 17:55 582次 阅读
AWS战略布局机器学习和人工智能,加快其平台化步伐

如何抢占人工智能战略制高点?深度学习是重点!

深度学习框架是新一轮人工智能跨越发展的核心引擎,也是全球科技创新和产业发展的前沿阵地。近年来,各国竞....

发表于 08-16 17:41 155次 阅读
如何抢占人工智能战略制高点?深度学习是重点!

科大讯飞上半年营收增五成 下半年才是公司收入的重头

事实上,Lazada客服机器人研发的背后,阿里巴巴客户体验事业群对Lazada在智能服务领域提供了多....

的头像 高工智能未来 发表于 08-16 16:27 275次 阅读
科大讯飞上半年营收增五成 下半年才是公司收入的重头

从三个角度浅析人工智能的最新发展趋势

1956年的达特茅斯会议首次提出人工智能的定义:使一部机器的反应方式像一个人在行动时所依据的智能。

的头像 传感器与物联网 发表于 08-16 14:48 140次 阅读
从三个角度浅析人工智能的最新发展趋势

浅析深度学习在半导体行业的应用

近年来摩尔定律增长的脚步放缓,关于摩尔定律的种种猜测甚嚣尘上。但半导体行业人,仍然对此持乐观态度:持....

的头像 宽禁带半导体技术创新联盟 发表于 08-16 14:09 203次 阅读
浅析深度学习在半导体行业的应用

探讨workshop和丰富详细的课程讲解

深度学习作为一种革命性的技术,可以发现数据中潜藏的模式并在很多复杂任务中取得成功。深度学习速成课希望....

的头像 将门创投 发表于 08-16 10:01 260次 阅读
探讨workshop和丰富详细的课程讲解

组建一个出色的数据团队都需要哪些角色?

有一点非常重要,作为一名数据分析师,所做出的任何结论都不能脱离数据。这是一种需要专业训练的技能,就如....

的头像 电子发烧友网工程师 发表于 08-16 09:57 206次 阅读
组建一个出色的数据团队都需要哪些角色?

台积电7nm制程八核CPU,GPU核心数量翻倍

此次麒麟980在GPU上提升尤其明显,上一代的麒麟970使用的是Mali-G72 12核GPU,此次....

的头像 新智元 发表于 08-16 09:48 203次 阅读
台积电7nm制程八核CPU,GPU核心数量翻倍

全球规模最大的多类别、病灶级别标注的开放获取临床医疗图像数据集

要设计深度学习算法解决临床问题,“需要对技术和临床实践两方面都拥有深刻的理解,”吕乐博士说:“AI ....

的头像 新智元 发表于 08-16 09:41 228次 阅读
全球规模最大的多类别、病灶级别标注的开放获取临床医疗图像数据集

李开复:人工智能领域如何拯救人性

8月15日,李开复在北京进行了有关人工智能的主题演讲。在演讲中,李开复分析了人工智能对于整个人类的影....

的头像 章鹰 发表于 08-16 09:40 550次 阅读
李开复:人工智能领域如何拯救人性

总结可微图像参数表示的最新进展

可微图像参数表示邀请我们提出了这样一个问题:“反向传播通过的是什么样的图像生成过程?”答案是相当多样....

的头像 论智 发表于 08-16 09:19 185次 阅读
总结可微图像参数表示的最新进展

如何建立起强大的视觉层次结构,并最终成为强大的图像特征提取器

如果你仔细看了上文中的gif,你会发现我们把5×5的特征矩阵转换成了3×3的特征矩阵,输入图像的边缘....

的头像 论智 发表于 08-16 09:15 683次 阅读
如何建立起强大的视觉层次结构,并最终成为强大的图像特征提取器

机器人在帮助泛自闭症障碍儿童方面的效果

LuxAI公司的联合创始人Aida Nazarikhorram说:“当你和一个人交流时,有很多的社交....

的头像 IEEE电气电子工程师学会 发表于 08-16 08:49 164次 阅读
机器人在帮助泛自闭症障碍儿童方面的效果

请问神经网络在电机控制方面的硬件实现

急急急!!!本人小白,在电机控制和神经网络都是新手,想请教一下大神们,有了解神经网络在电机控制方面的应用吗?有个导师给我...

发表于 08-15 20:35 91次 阅读
请问神经网络在电机控制方面的硬件实现

谷歌AI诊断眼病,准确率超过专家医生

DeepMind的算法使用Moorfields提供的14884个匿名3D视网膜扫描图像进行训练,这些....

的头像 人工智能 发表于 08-15 16:53 352次 阅读
谷歌AI诊断眼病,准确率超过专家医生

美国五角大楼人工智能中心大揭秘

新成立的国防创新委员会首次提出了一系列建议(该委员会是美国国防部高级领导的顾问机构,成员包括来自私营....

的头像 人工智能学家 发表于 08-15 16:30 318次 阅读
美国五角大楼人工智能中心大揭秘

如何解决AI应用歧视特定人群的问题?

当使用谷歌翻译将西班牙语的新闻翻译为英语时,涉及到女性的短语通常都会翻译为“他说”或“他写道”。

的头像 人工智能学家 发表于 08-15 15:53 234次 阅读
如何解决AI应用歧视特定人群的问题?

数据科学项目失败9个最常见的原因

本文总结了数据科学项目失败的最常见原因,希望能够帮助你避免陷阱。

的头像 AI人工智能D1net 发表于 08-15 15:48 348次 阅读
数据科学项目失败9个最常见的原因

深度学习比较火热的情景下需要避免的三个坑

深度学习仍然是一项非常尖端的技术。您可以像许多人一样获得快速简便的解决方案,特别是使用广泛使用的AP....

的头像 中国人工智能学会 发表于 08-15 14:18 400次 阅读
深度学习比较火热的情景下需要避免的三个坑

谷歌眼疾诊断AI比人类医生更准确

谷歌DeepMind与伦敦眼科医院合作研发的眼疾诊断算法的错误率为5.5%,而8名人类医生的错误率在....

的头像 1号机器人网 发表于 08-15 09:39 223次 阅读
谷歌眼疾诊断AI比人类医生更准确

利用独创的深度学习模型,通过对大量音乐数据的学习及训练写出音乐作品

具体来说,他们的技术核心是层次化深度学习网络结构和生成式对抗学习方式,特点是可以让生成的乐曲赋有多样....

的头像 电子发烧友网工程师 发表于 08-15 09:09 254次 阅读
利用独创的深度学习模型,通过对大量音乐数据的学习及训练写出音乐作品

TensorFlow的2.0 版本将来临

TensorFlow 的 contrib 模块已经超越了单个存储库中可以维护和支持的模块。较大的项目....

的头像 电子发烧友网工程师 发表于 08-15 09:01 182次 阅读
TensorFlow的2.0 版本将来临

Yoshua Bengio:如何缔造出世界上最好的人工智能实验室之一的呢?

Bengio从Hinton身上学到的经验是不要把自己的努力分散到不同地方。作为一名科研人员,他不应该....

的头像 论智 发表于 08-15 08:47 251次 阅读
Yoshua Bengio:如何缔造出世界上最好的人工智能实验室之一的呢?

Dropout如何成为SDR的特殊情况

如之前所说,Dropout需要将每层的隐藏单元在Bernoulli过程中删除。如果我们在同样的网络中....

的头像 论智 发表于 08-15 08:32 403次 阅读
Dropout如何成为SDR的特殊情况

瑟瑟发抖:深度学习可以通过一段代码找出代码作者

最近又有两个人,Caliskan和Greenstadt(名字不重要,姑且就称大C和大G)突然站出来说....

的头像 人工智能头条 发表于 08-14 17:45 728次 阅读
瑟瑟发抖:深度学习可以通过一段代码找出代码作者

东方网力“天眼”结构化一体机实现实时视频流结构化分析

东方网力“天眼”结构化一体机可以实现实时视频流结构化分析,并基于结构化分析结果进行告警、检索和挖掘等....

的头像 安全自动化 发表于 08-14 17:34 542次 阅读
东方网力“天眼”结构化一体机实现实时视频流结构化分析

十种未来AI人工智能技术大盘点

AI人工智能说(或写)出正确的单词并且是连贯的顺序来传达一个明确且清晰的意思,而且还能很容易被听众(....

的头像 机器人博览 发表于 08-14 17:04 587次 阅读
十种未来AI人工智能技术大盘点

哪些行业正在或即将被人工智能改变?

人工智能发端于上世纪五十年代,经历了几次繁荣与低谷,到2016年谷歌所收购的DeepMind公司的人....

的头像 机器人博览 发表于 08-14 16:04 838次 阅读
哪些行业正在或即将被人工智能改变?

机器学习能通过类似「指纹辨识」的方式识别出代码的编写者

这方法可以用来辨识黑客和意图瓢窃资料的人,但也有可能对隐私造成威胁。 虽然每位程序员都拥有自己独特的风格,但光通过观察...

发表于 08-14 09:48 136次 阅读
机器学习能通过类似「指纹辨识」的方式识别出代码的编写者

【详解】FPGA:深度学习的未来?

作者:Griffin Lacey Graham Taylor Shawaki Areibi 来源:arxiv 摘要 最近几年数据量和可访问性的迅速增长,使得人...

发表于 08-13 09:33 210次 阅读
【详解】FPGA:深度学习的未来?

  华为云深度学习服务,让企业智能从此不求人

  近日,华为云发布了深度学习服务,要让企业智能从此不求人。那么企业云的深度学习服务有哪些能力,为什么能够做到让企业智...

发表于 08-02 20:44 208次 阅读
  华为云深度学习服务,让企业智能从此不求人

如何规划出完美的机器学习入门路径?| AI知识科普

书山有路勤为径,在学习进修的道路上,正确的路径比埋头勤奋要重要的多。 最近两年AI在线学习和教育呈喷涌式发展,机器学...

发表于 07-27 12:54 250次 阅读
如何规划出完美的机器学习入门路径?| AI知识科普

没想到,有一天AI也会被「调戏」!

从“跳一跳”之后,又有一款小程序游戏因其独特好玩的个性,在朋友圈C位出道了。 几天前,谷歌发布了一款名为“猜画小歌”...

发表于 07-23 09:11 215次 阅读
没想到,有一天AI也会被「调戏」!

前百度深度学习研究院科学家分享:机器视觉开发实战经验

人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的...

发表于 07-20 11:06 742次 阅读
前百度深度学习研究院科学家分享:机器视觉开发实战经验

百度深度学习研究院科学家深度讲解人工智能

点击报名直播观看: 专家简介:邓亚峰  现任格灵深瞳信息技术有限公司首席技术官,毕业于清华大学,具有16年的计算...

发表于 07-19 10:01 933次 阅读
百度深度学习研究院科学家深度讲解人工智能

学习Python大数据与机器学习必会Matplotlib知识

在python的培训学习中,我们会用python进行数据分析的学习与应用,并且在这一部分进行绘图是必不可少的,所以为了看一下大家的实...

发表于 07-05 17:57 447次 阅读
学习Python大数据与机器学习必会Matplotlib知识

请问Labveiw如何调用matlab训练好的神经网络模型呢?

我在matlab中训练好了一个神经网络模型,想在labview中调用,请问应该怎么做呢?或者labview有自己的神经网络工具包吗? ...

发表于 07-05 17:32 510次 阅读
请问Labveiw如何调用matlab训练好的神经网络模型呢?