DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

中国人工智能学会 2018-01-31 08:58 次阅读

神经网络的强大功能有目共睹,但它往往需要大量与目标测试领域数据分布相似的训练数据;而用于符号领域的归纳逻辑编程只需少量数据,却无法对抗噪声,适用领域也很狭窄。

DeepMind在最近发表的一篇论文中,提出了可微分归纳逻辑编程方法∂ILP,既能解决传统归纳逻辑编程擅长的符号类任务,也对噪声数据、训练集中的误差有一定容忍度,还可以通过梯度下降来训练。

怎么样?我们来看看DeepMind在官方博客上对这种方法的解读:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

想象一下踢足球的场景,球到了你脚下,你决定把它传给没人盯防的前锋。这个看似简单的行为,需要两种不同的思维。

首先,你认识到自己脚下有一个球,这需要的是直观的感性思维——你没办法简单地描述出你是怎么知道脚下有个球的。

其次,你决定把球传给特定的一个前锋。这个决策需要概念性思维,你的决定依赖于理由——你把球传给这个前锋的原因,是没有人盯防她。

这种区别对我们来说很有意思,因为这两类思维对应着两种不同的机器学习方法:深度学习和符号程序合成(symbolic program synthesis)。

深度学习专注于直观的感性思维,而符号程序合成专注于概念性的、基于规则的思考。这两个系统各有各的优点,深度学习系统能适用于噪声数据,但难以解释,而且需要大量训练数据;符号系统更易于解释,需要的训练数据也更少,但一遇到噪声数据就不行了。

人类认知将这两种截然不同的思维方式无缝结合在了一起,但想要把这种结合复制到一个AI系统里,我们还不太清楚是否可能、如何做到。

我们最近在《JAIR》期刊(Journal of AI Research)上发表的论文表明,系统可以将直观的感性思维和概念性的可解释推理结合起来。我们所描述的∂ILP(可微分归纳逻辑编程,Differentiable Inductive Logic Programming)系统具有下列特性:抗噪声、数据上很经济、能产生可解释的规则。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

我们用一个归纳任务来演示∂ILP的工作原理:

已知一对表示数字的图片,系统需要根据左侧图像数字是否小于右侧图像的数字,输出0或1的标签,如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

解决这个问题涉及两种思维方式。从图像中认出数字,需要直观的感性思维;要整体理解“小于”关系,则需要概念性的思考。

其实,如果给标准的深度学习模型(例如带有MLP的卷积神经网络)提供足够的训练数据,它能学会有效地解决这个问题,训练完成后给它一对从未见过的新图像,它也可以正确分类。

但实际上,只有每对数字你都给它多个样例,它才能正确地泛化。这个模型擅长视觉上的泛化,比如说测试集中的每一对数字它都见过了,要泛化到新的图像,就很容易(见下图绿色方块)。但它不适用于符号的泛化,比如说它就不能泛化到从未见过的数字(见下图蓝色方块)。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

马库斯(Gary Marcus)、Joel Grus等研究者最近都撰文指出了这一点。

不同于标准的神经网络,∂ILP能够进行符号的泛化;它和标准的符号程序也不一样,可以进行视觉上的泛化。∂ILP从样例中学习可读、可解释、可验证的,明确的程序。已知部分样例(也就是预期的结果,下图中的desired results),∂ILP能生成一个满足需求的程序。它用梯度下降从程序空间中搜索,如果程序的输出与参考数据需要的输出相冲突,系统就会修改程序以更好地匹配数据。

∂ILP的训练过程如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

∂ILP能进行符号性的泛化,给它足够多x

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

上图总结了我们的“小于”实验:蓝色曲线表示标准的深度神经网络,无法正确泛化到从未见过的数字对,相比之下,在只用40%数字对训练过的情况下,绿色曲线表示的∂ILP依然能保持较低的测试误差。这表明,∂ILP能够进行符号性的泛化。

我们相信,对于深度神经网络中是否能够实现符号泛化这个问题,我们的系统能够在某种程度上给予答案。今后,我们计划将类似∂ILP的系统集成到强化学习智能体以及更大的深度学习模块中,赋予系统推理、反应的能力。

中国人工智能学会 技术专区

原文标题:DeepMind提出可微分逻辑编程,结合深度学习与符号程序优点

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
收藏 人收藏
分享:

评论

相关推荐

AI芯片如何保持芯片通用性

神经网络计算芯片已经引起了全球各个学院/企业的广泛关注,“软件定义芯片”相关研究,适应AI算法不断变....

发表于 02-13 10:22 次阅读 0条评论
AI芯片如何保持芯片通用性

三位大神Hinton、Yann LeCun和Bengio分析入门深度学习

为纪念人工智能60周年而专门推出的深度学习综述,也是Hinton、LeCun和Bengio三位大神首....

的头像 人工智能学家 发表于 02-12 15:16 次阅读 0条评论
三位大神Hinton、Yann LeCun和Bengio分析入门深度学习

什么是神经网络?学习人工智能必会的八大神经网络盘点

神经网络是一套特定的算法,是机器学习中的一类模型,神经网络本身就是一般泛函数的逼近,它能够理解大脑是....

发表于 02-11 11:17 次阅读 0条评论
什么是神经网络?学习人工智能必会的八大神经网络盘点

量子计算机的瓶颈在哪里?首要任务是加速机器学习

神经网络和量子处理器会擦出什么样的火花?神经网络和量子处理器有一个共同点:那就是它们竟然能实现。训练....

的头像 人工智能头条 发表于 02-11 10:58 次阅读 0条评论
量子计算机的瓶颈在哪里?首要任务是加速机器学习

如何使用python进行第一个机器学习项目(详细教程篇)

在这篇教程中,你将用Python完成你的第一个机器学习项目: 1.下载并安装Python SciP....

的头像 机器学习算法与人工智能 发表于 02-10 03:10 次阅读 0条评论
如何使用python进行第一个机器学习项目(详细教程篇)

深度学习的概念、发展状况以及和机器学习的区别和应用

一般来说,深度学习适用于计算量更大的情况,而机器学习技术相对更易于使用。

的头像 Thundersoft中科创达 发表于 02-09 14:41 次阅读 0条评论
深度学习的概念、发展状况以及和机器学习的区别和应用

云从科技推出3D结构光人脸识别技术 可帮助企业更好地提升攻击预防效果

2月7日,广州云从信息科技有限公司正式宣布推出3D结构光人脸识别技术。据悉,这是中国企业首次将结构光....

的头像 机器人技术与应用 发表于 02-09 13:38 次阅读 0条评论
云从科技推出3D结构光人脸识别技术 可帮助企业更好地提升攻击预防效果

类脑芯片新突破,未来可完成只有大型超级计算机能完成的复杂计算

最近,麻省理工(MIT)的工程师设计了一种人造突触,可以实现精确控制流过这种突触的电流强度,即类似离....

的头像 半导体行业观察 发表于 02-09 12:42 次阅读 0条评论
类脑芯片新突破,未来可完成只有大型超级计算机能完成的复杂计算

心传感器:利用人工智能识别人脸表情并将读取的情感转换为数字信号

CAC公司的“心传感器”利用基于人工智能(AI)的情感识别技术分析人脸表情,并将读取的情感转换为数字....

的头像 MEMS 发表于 02-09 12:24 次阅读 0条评论
心传感器:利用人工智能识别人脸表情并将读取的情感转换为数字信号

从产业落地以及学术创新两种视角出发,探索后深度学习时代的新挑战

商汤科技研发总监、中山大学教授林倞,将从产业落地以及学术创新两种视角出发,带领大家一起探索“后深度学....

的头像 人工智能头条 发表于 02-09 11:40 次阅读 0条评论
从产业落地以及学术创新两种视角出发,探索后深度学习时代的新挑战

Rodney Brooks:新技术从开发到应用需要的时间比我们预期的更久

制造电动汽车和可重复使用的火箭是一件相对容易的事情;而飞行汽车,或Hyperloop超级高铁系统(或....

的头像 人间烟火123 发表于 02-09 10:31 次阅读 0条评论
Rodney Brooks:新技术从开发到应用需要的时间比我们预期的更久

深度学习完整解决方案 可节省80%开发时间

AI开发开始逐渐走向平民化,但是目前的人工智能(AI)市场还是处于资源缺乏集成性和容易让开发出现断层....

发表于 02-09 09:03 次阅读 0条评论
深度学习完整解决方案 可节省80%开发时间

拆解深度学习生态系的五个层级

浅谈深度学习的架构,主要可分为训练(Training)与推论(Inference)两个阶段。简单来说....

发表于 02-09 08:48 次阅读 0条评论
拆解深度学习生态系的五个层级

深度学习在制造与医疗领域先行 为下一阶段自动驾驶暖身

让机器模仿人脑思考行为的深度学习,是人工智能(AI)近年能够在各行各业中加速发展的一大功臣。持续到今....

发表于 02-09 08:43 次阅读 0条评论
深度学习在制造与医疗领域先行 为下一阶段自动驾驶暖身

介绍脑机接口在应用系统实现取得的成果以及目前进展和未来发展趋势

脑机接口(brain-computer interface,BCI)通过解码人类思维活动过程中的脑神....

的头像 人工智能学家 发表于 02-08 18:16 次阅读 0条评论
介绍脑机接口在应用系统实现取得的成果以及目前进展和未来发展趋势

介绍基于不确定的语法条件生成类似Java的强类型程序

已经有不少使用神经网络生成程序的研究,但目前的工作基本上都基于严格的语义(semantic)限制。R....

的头像 论智 发表于 02-08 18:11 次阅读 0条评论
介绍基于不确定的语法条件生成类似Java的强类型程序