DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

中国人工智能学会 2018-01-31 08:58 次阅读

神经网络的强大功能有目共睹,但它往往需要大量与目标测试领域数据分布相似的训练数据;而用于符号领域的归纳逻辑编程只需少量数据,却无法对抗噪声,适用领域也很狭窄。

DeepMind在最近发表的一篇论文中,提出了可微分归纳逻辑编程方法∂ILP,既能解决传统归纳逻辑编程擅长的符号类任务,也对噪声数据、训练集中的误差有一定容忍度,还可以通过梯度下降来训练。

怎么样?我们来看看DeepMind在官方博客上对这种方法的解读:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

想象一下踢足球的场景,球到了你脚下,你决定把它传给没人盯防的前锋。这个看似简单的行为,需要两种不同的思维。

首先,你认识到自己脚下有一个球,这需要的是直观的感性思维——你没办法简单地描述出你是怎么知道脚下有个球的。

其次,你决定把球传给特定的一个前锋。这个决策需要概念性思维,你的决定依赖于理由——你把球传给这个前锋的原因,是没有人盯防她。

这种区别对我们来说很有意思,因为这两类思维对应着两种不同的机器学习方法:深度学习和符号程序合成(symbolic program synthesis)。

深度学习专注于直观的感性思维,而符号程序合成专注于概念性的、基于规则的思考。这两个系统各有各的优点,深度学习系统能适用于噪声数据,但难以解释,而且需要大量训练数据;符号系统更易于解释,需要的训练数据也更少,但一遇到噪声数据就不行了。

人类认知将这两种截然不同的思维方式无缝结合在了一起,但想要把这种结合复制到一个AI系统里,我们还不太清楚是否可能、如何做到。

我们最近在《JAIR》期刊(Journal of AI Research)上发表的论文表明,系统可以将直观的感性思维和概念性的可解释推理结合起来。我们所描述的∂ILP(可微分归纳逻辑编程,Differentiable Inductive Logic Programming)系统具有下列特性:抗噪声、数据上很经济、能产生可解释的规则。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

我们用一个归纳任务来演示∂ILP的工作原理:

已知一对表示数字的图片,系统需要根据左侧图像数字是否小于右侧图像的数字,输出0或1的标签,如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

解决这个问题涉及两种思维方式。从图像中认出数字,需要直观的感性思维;要整体理解“小于”关系,则需要概念性的思考。

其实,如果给标准的深度学习模型(例如带有MLP的卷积神经网络)提供足够的训练数据,它能学会有效地解决这个问题,训练完成后给它一对从未见过的新图像,它也可以正确分类。

但实际上,只有每对数字你都给它多个样例,它才能正确地泛化。这个模型擅长视觉上的泛化,比如说测试集中的每一对数字它都见过了,要泛化到新的图像,就很容易(见下图绿色方块)。但它不适用于符号的泛化,比如说它就不能泛化到从未见过的数字(见下图蓝色方块)。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

马库斯(Gary Marcus)、Joel Grus等研究者最近都撰文指出了这一点。

不同于标准的神经网络,∂ILP能够进行符号的泛化;它和标准的符号程序也不一样,可以进行视觉上的泛化。∂ILP从样例中学习可读、可解释、可验证的,明确的程序。已知部分样例(也就是预期的结果,下图中的desired results),∂ILP能生成一个满足需求的程序。它用梯度下降从程序空间中搜索,如果程序的输出与参考数据需要的输出相冲突,系统就会修改程序以更好地匹配数据。

∂ILP的训练过程如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

∂ILP能进行符号性的泛化,给它足够多x

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

上图总结了我们的“小于”实验:蓝色曲线表示标准的深度神经网络,无法正确泛化到从未见过的数字对,相比之下,在只用40%数字对训练过的情况下,绿色曲线表示的∂ILP依然能保持较低的测试误差。这表明,∂ILP能够进行符号性的泛化。

我们相信,对于深度神经网络中是否能够实现符号泛化这个问题,我们的系统能够在某种程度上给予答案。今后,我们计划将类似∂ILP的系统集成到强化学习智能体以及更大的深度学习模块中,赋予系统推理、反应的能力。

热门推荐

原文标题:DeepMind提出可微分逻辑编程,结合深度学习与符号程序优点

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

机器“视觉”像人类一样“看”世界

从识别极小分子的机器到分析外太空最庞大结构的工具,我们对这项新发现的能力所能实现的种种可能的想象才刚....

的头像 人工智能学家 发表于 05-20 11:32 383次阅读
机器“视觉”像人类一样“看”世界

离散化架构WAGE,训练推理合二为一

ICLR 是深度学习领域的顶会,更被誉为深度学习的 “无冕之王”,得到了 google, Faceb....

的头像 新智元 发表于 05-20 11:11 140次阅读
离散化架构WAGE,训练推理合二为一

如何利用深度学习修复医疗影像数据集

在医学成像中,数据存储档案是基于临床假设的。不幸的是,这意味着当你想要提取一个图像时,比如一个正面的....

的头像 新智元 发表于 05-20 10:07 206次阅读
如何利用深度学习修复医疗影像数据集

新时代的炼金术——机器学习

如果不深入了解构建和训练新算法所需的基本工具,研究人员就会像中世纪的炼金术士一样用道听途说的方法来研....

的头像 新智元 发表于 05-20 09:38 294次阅读
新时代的炼金术——机器学习

如何开始接触机器学习_机器学习入门方法盘点

机器学习入门方法 一说到机器学习,我被问得最多的问题是:给那些开始学习机器学习的人的最好的建议是什么....

的头像 电子发烧友网工程师 发表于 05-20 07:10 138次阅读
如何开始接触机器学习_机器学习入门方法盘点

英特尔FPGA为人工智能(AI)提供推理性能

新特性:在近日举行的 Microsoft Build 大会上,Microsoft推出了 基于 Pro....

发表于 05-20 00:10 50次阅读
英特尔FPGA为人工智能(AI)提供推理性能

细说机器学习的方法

机器学习(Machine Learning, ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论....

发表于 05-18 23:44 61次阅读
细说机器学习的方法

中国科大在国际上首次实现量子机器学习算法

中国科学技术大学潘建伟教授及其同事陆朝阳、刘乃乐等组成的研究团队在国际上首次实现量子机器学习算法。日....

发表于 05-18 23:04 82次阅读
中国科大在国际上首次实现量子机器学习算法

IBM机器学习让可再生能源物尽其用

IBM的SMT系统使用天气型态在数周前收集海量数据点并预测有多少太阳能和风能可被利用。

发表于 05-18 22:52 176次阅读
IBM机器学习让可再生能源物尽其用

让机器真正理解我们

一名年轻的法国人Yann Lecun花了10多年时间做一件事:模仿大脑的某些功能来打造人工智能机器。....

发表于 05-18 22:48 61次阅读
让机器真正理解我们

机器学习和机器发现区别在哪?

机器学习现在可谓是炙手可热。只要应用机器学习,就可以有效丰富数据和知识,促进有价值的任务自动化,包括....

发表于 05-18 22:32 72次阅读
机器学习和机器发现区别在哪?

自拍应用也需要机器学习?微软将二者融合

虽然WP平台的发展不尽如人意,但这没有阻挡微软为其它平台,如iOS开发应用的热情。最近,微软为iOS....

发表于 05-18 22:26 76次阅读
自拍应用也需要机器学习?微软将二者融合

微软机器学习的发展从测谎仪开始

37 岁的Marsman是个“重量级技术布道者”(principal developer evang....

发表于 05-18 22:19 75次阅读
微软机器学习的发展从测谎仪开始

当机器翻译遇见深度学习

据VentureBeat报道,谷歌利用被称为深度学习的人工智能改进了多项产品,例如谷歌地图、谷歌照片....

发表于 05-18 22:15 42次阅读
当机器翻译遇见深度学习

深度学习能否运用到VR上?

随着谷歌人工智能AlphaGo与李世石的五局人机大战落下帷幕,阿法狗最终以4:1大比分战神李世石,人....

发表于 05-18 22:04 105次阅读
深度学习能否运用到VR上?

谷歌将机器学习云平台推向大众

谷歌母公司Alphabet董事长Eric Schmidt今日宣布,谷歌将面向开发者开放云端机器学习平....

发表于 05-18 21:59 36次阅读
谷歌将机器学习云平台推向大众

全球首个能"深度学习"的处理器芯片在我国诞生

日前,中国科学院计算技术研究所(以下简称中科院计算所)发布了全球首个能够“深度学习”的“神经网络”处....

发表于 05-18 21:54 77次阅读
全球首个能"深度学习"的处理器芯片在我国诞生

机器人如何进行深度学习?还有哪些跨不过的坎?

不仅仅是“微软小冰”和围棋高手“阿尔法狗”,从互联网搜索到语言翻译,乃至识别患有自闭症风险的基因……....

发表于 05-18 21:49 49次阅读
机器人如何进行深度学习?还有哪些跨不过的坎?

吴恩达:机器学习和人工智能的未来

近期,吴恩达做客播客节目 Greymatter 探讨了自动化、智能化将会在各个领域如何发展,以及机器....

的头像 人工智能学家 发表于 05-18 17:23 810次阅读
吴恩达:机器学习和人工智能的未来

可以检测潜在心脏病的人工智能技术

人工智能在医疗领域扮演着越来越重要的角色,它的发展从诊断糖尿病和医学扫描,到未来甚至可能完全取代医生....

发表于 05-18 17:09 194次阅读
可以检测潜在心脏病的人工智能技术

未来的智能住宅计划正在慢慢变得越来越可行

在这些计划中,住宅能够为住户完成所有家务,如将晚餐做好并放到厨房的餐桌上,同时具有各种便利设施。随着....

的头像 人工智能快报 发表于 05-18 16:56 564次阅读
未来的智能住宅计划正在慢慢变得越来越可行

概率计算能促进人工智能和机器学习吗?

在概率计算中,处理单元所消耗的能量降低,从而增加了某些操作可能出错的可能性。

的头像 新智元 发表于 05-18 16:33 746次阅读
概率计算能促进人工智能和机器学习吗?

AI,正在快速改变医疗大健康行业

AI的加入,让人看到了可喜的改变。根据TechEmergence的研究报告,AI可以将新药研发的成功....

的头像 你好张江 发表于 05-18 14:19 181次阅读
AI,正在快速改变医疗大健康行业

什么是机器学习?机器学习能解决什么问题?(案例分析)

随着大数据时代的到来,机器学习成为解决问题的一种重要且关键的工具。不管是工业界还是学术界,机器学习都....

发表于 05-18 13:13 73次阅读
什么是机器学习?机器学习能解决什么问题?(案例分析)

最接近人脑的智能学习方法深度学习,你了解多少?

深度学习可以完成需要高度抽象特征的人工智能任务,如语音识别、图像识别和检索、自然语言理解等。深层模型....

发表于 05-18 09:48 230次阅读
最接近人脑的智能学习方法深度学习,你了解多少?

机器学习算法用于检测盗刷信用卡,让我们的钱包和卡包会越来越安全

盗刷信用卡风险已经成为困扰全球银行信用卡部门的难题之一。仅以美国为例,美联储的支付调查报道显示,20....

发表于 05-18 09:39 78次阅读
机器学习算法用于检测盗刷信用卡,让我们的钱包和卡包会越来越安全

聆听大牛探讨计算机视觉领域的人才培养,人才流动以及未来的技术方向

“微软亚洲研究院创研论坛——CVPR 2018中国论文分享会”在微软大厦成功举行。来自国内外计算机视....

的头像 人工智能头条 发表于 05-18 09:22 163次阅读
聆听大牛探讨计算机视觉领域的人才培养,人才流动以及未来的技术方向

更强大的“谷歌大脑”,谷歌扩充机器神经网络规模

“机器学习”的概念自上世纪50年代出来以来就备受科技界的关注,而近年来“深度学习”逐渐成为机器学习研....

发表于 05-18 08:57 36次阅读
更强大的“谷歌大脑”,谷歌扩充机器神经网络规模

机器学习中更多的数据比更好的算法好?没有合理的方法数据会成为噪音

在机器学习中,更多的数据总是比更好的算法好吗?对于Quora上的这个问题,Netflix公司工程总监....

发表于 05-18 08:56 66次阅读
机器学习中更多的数据比更好的算法好?没有合理的方法数据会成为噪音

关于机器学习的前世今生和怎么用机器学习的方法去解决问题

初看的话,会觉得机器学习和人工智能,数据挖掘讲的东西很像,实际他们之间的关系可以概括为: 机器学习....

发表于 05-18 08:37 67次阅读
关于机器学习的前世今生和怎么用机器学习的方法去解决问题

MetaMind获800万美元风投资金,使深度学习不再神秘

深度学习的概念源于人工神经网络的研究。作为人工智能的一种,“深度学习”是一个训练系统,能处理海量信息....

发表于 05-18 02:53 49次阅读
MetaMind获800万美元风投资金,使深度学习不再神秘

当网络运营遇上机器学习,未来会是怎样?

爱立信将广泛的无线网络能力与最新的机器学习进展相结合,为客户在自动化道路上提供了关键的差异化因素。爱....

的头像 爱立信中国 发表于 05-17 16:24 516次阅读
当网络运营遇上机器学习,未来会是怎样?

RK3399芯片平台的基于深度学习的目标检测技术方案

针对AI人工智能市场和技术需求,Rockchip在性能强大的RK3399平台上,对MobileNet....

的头像 半导体行业联盟 发表于 05-17 15:52 357次阅读
RK3399芯片平台的基于深度学习的目标检测技术方案

大规模量产,一直是摆在ADAS初创公司面前的一道坎

智能驾驶和人工智能都涉及到了深度神经网络,其中深度神经网络更新迭代非常快,几乎每个月都有新的进展和网....

的头像 高工智能汽车 发表于 05-17 15:07 423次阅读
大规模量产,一直是摆在ADAS初创公司面前的一道坎

捷豹路虎第一个使用820A做座舱域控制器

820A的劣势在于它最初不是针对车载市场的,不是按照ISO26262标准的开发流程得来的,安全等级连....

的头像 佐思汽车研究 发表于 05-17 14:50 195次阅读
捷豹路虎第一个使用820A做座舱域控制器

如何用巧妙的方式借助TensorFlow帮助他们工作

还有一个好消息,是关于世界各地园艺专业人士的:Shaza Mehdi 和 Nile Ravenell....

的头像 TensorFlow 发表于 05-17 11:32 186次阅读
如何用巧妙的方式借助TensorFlow帮助他们工作

PowerVR 2NX成为驱动神经网络应用解决方案

毫无疑问,神经网络变得越来越流行,在各式各样的产品中都可以找到它的相关应用。它们会根据你的兴趣自动调....

的头像 电子设计 发表于 05-17 09:23 746次阅读
PowerVR 2NX成为驱动神经网络应用解决方案

机器学习之支持向量机SVM

掌握机器学习算法并不是什么神话。对于大多数机器学习初学者来说,回归算法是很多人接触到的第一类算法,它....

的头像 论智 发表于 05-16 17:01 432次阅读
机器学习之支持向量机SVM

如何开始接触机器学习?方法统统分享给你

发表于 05-16 11:50 509次阅读
如何开始接触机器学习?方法统统分享给你

13种神经网络激活函数

ReLU(Rectified Linear Unit,修正线性单元)训练速度比tanh快6倍。当输入....

的头像 论智 发表于 05-16 11:18 236次阅读
13种神经网络激活函数

TCN应该成为我们未来项目的优先选项

但二者的一个主要不同是,CNN 可以识别静态图像(或以帧分割的视频)中的特征,而 RNN 在文本和语....

的头像 新智元 发表于 05-16 09:07 158次阅读
TCN应该成为我们未来项目的优先选项

利用强化学习探索多巴胺对学习的作用

当我们使用虚拟的计算机屏幕和随机选择的图像来模拟一个非常相似的测试时,我们发现,我们的“元强化学习智....

的头像 新智元 发表于 05-16 09:03 202次阅读
利用强化学习探索多巴胺对学习的作用

谷歌首次迎来大规模辞职潮

这个项目曝光后,谷歌发言人在一份声明中说,它向国防部提供用于机器学习应用的TensorFlow AP....

的头像 新智元 发表于 05-16 09:00 804次阅读
谷歌首次迎来大规模辞职潮

AI前沿技术,Waymo为什么会突然对宣传其AI实力感兴趣?

Google 大脑团队的 AI 专家定期会与 Dolgov 和他的工程师同事展开合作,共同探讨改进 ....

的头像 人工智能学家 发表于 05-15 18:52 701次阅读
AI前沿技术,Waymo为什么会突然对宣传其AI实力感兴趣?

《机器学习训练秘籍》:书中选出了7条非常有用的建议

这是一个不断迭代的过程。循环得越快,进展也就越快。这就是为什么提前确定开发/测试集很重要,因为这样做....

的头像 人工智能头条 发表于 05-15 18:45 468次阅读
《机器学习训练秘籍》:书中选出了7条非常有用的建议

谷歌近日发明了一款能自动捕捉精彩时刻的相机

标签集建立好之后,我们就需要设计一个紧凑高效的模型,可以预测任意提供的照片。由于计算机视觉技术背后都....

的头像 论智 发表于 05-15 18:20 441次阅读
谷歌近日发明了一款能自动捕捉精彩时刻的相机

将从目标和问题的角度去讨论每种误差度量的有效性

对于前面的例子,我们将看到案例1和案例2得到的RMSE结果与R²是类似的。在这种情况下,校正R²要比....

的头像 将门创投 发表于 05-15 15:57 216次阅读
将从目标和问题的角度去讨论每种误差度量的有效性

人脸识别、语音翻译、无人驾驶...这些高科技都离不开深度神经网络了!

发表于 05-11 11:43 650次阅读
人脸识别、语音翻译、无人驾驶...这些高科技都离不开深度神经网络了!

要用labview做bp神经网络预测,相关的BP-Create-Project.vi在哪里找?

发表于 05-09 13:20 185次阅读
要用labview做bp神经网络预测,相关的BP-Create-Project.vi在哪里找?

基于树莓派与神经网络自动驾驶机器人

发表于 05-03 20:19 703次阅读
基于树莓派与神经网络自动驾驶机器人

关于机器学习模块KNN算法错误91的问题?

发表于 04-02 15:08 221次阅读
关于机器学习模块KNN算法错误91的问题?

请问labview可以调用在matlab里训练出的机器学习模型吗?可以的话应该怎么做?

发表于 03-21 23:20 271次阅读
请问labview可以调用在matlab里训练出的机器学习模型吗?可以的话应该怎么做?

智能控制([刘金琨编着]第1版)--第9章 神经网络控制

发表于 03-18 21:11 92次阅读
智能控制([刘金琨编着]第1版)--第9章 神经网络控制

智能控制([刘金琨编着]第1版)--第7章 典型神经网络

发表于 03-18 21:09 100次阅读
智能控制([刘金琨编着]第1版)--第7章 典型神经网络

智能控制([刘金琨编着]第1版)--第6章 神经网络理论基础

发表于 03-18 21:08 110次阅读
智能控制([刘金琨编着]第1版)--第6章 神经网络理论基础

有人做过神经网络在FPGA上的实现吗?

发表于 03-07 19:44 650次阅读
有人做过神经网络在FPGA上的实现吗?