【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

中国人工智能学会 2018-01-31 08:58 次阅读

神经网络的强大功能有目共睹,但它往往需要大量与目标测试领域数据分布相似的训练数据;而用于符号领域的归纳逻辑编程只需少量数据,却无法对抗噪声,适用领域也很狭窄。

DeepMind在最近发表的一篇论文中,提出了可微分归纳逻辑编程方法∂ILP,既能解决传统归纳逻辑编程擅长的符号类任务,也对噪声数据、训练集中的误差有一定容忍度,还可以通过梯度下降来训练。

怎么样?我们来看看DeepMind在官方博客上对这种方法的解读:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

想象一下踢足球的场景,球到了你脚下,你决定把它传给没人盯防的前锋。这个看似简单的行为,需要两种不同的思维。

首先,你认识到自己脚下有一个球,这需要的是直观的感性思维——你没办法简单地描述出你是怎么知道脚下有个球的。

其次,你决定把球传给特定的一个前锋。这个决策需要概念性思维,你的决定依赖于理由——你把球传给这个前锋的原因,是没有人盯防她。

这种区别对我们来说很有意思,因为这两类思维对应着两种不同的机器学习方法:深度学习和符号程序合成(symbolic program synthesis)。

深度学习专注于直观的感性思维,而符号程序合成专注于概念性的、基于规则的思考。这两个系统各有各的优点,深度学习系统能适用于噪声数据,但难以解释,而且需要大量训练数据;符号系统更易于解释,需要的训练数据也更少,但一遇到噪声数据就不行了。

人类认知将这两种截然不同的思维方式无缝结合在了一起,但想要把这种结合复制到一个AI系统里,我们还不太清楚是否可能、如何做到。

我们最近在《JAIR》期刊(Journal of AI Research)上发表的论文表明,系统可以将直观的感性思维和概念性的可解释推理结合起来。我们所描述的∂ILP(可微分归纳逻辑编程,Differentiable Inductive Logic Programming)系统具有下列特性:抗噪声、数据上很经济、能产生可解释的规则。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

我们用一个归纳任务来演示∂ILP的工作原理:

已知一对表示数字的图片,系统需要根据左侧图像数字是否小于右侧图像的数字,输出0或1的标签,如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

解决这个问题涉及两种思维方式。从图像中认出数字,需要直观的感性思维;要整体理解“小于”关系,则需要概念性的思考。

其实,如果给标准的深度学习模型(例如带有MLP的卷积神经网络)提供足够的训练数据,它能学会有效地解决这个问题,训练完成后给它一对从未见过的新图像,它也可以正确分类。

但实际上,只有每对数字你都给它多个样例,它才能正确地泛化。这个模型擅长视觉上的泛化,比如说测试集中的每一对数字它都见过了,要泛化到新的图像,就很容易(见下图绿色方块)。但它不适用于符号的泛化,比如说它就不能泛化到从未见过的数字(见下图蓝色方块)。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

马库斯(Gary Marcus)、Joel Grus等研究者最近都撰文指出了这一点。

不同于标准的神经网络,∂ILP能够进行符号的泛化;它和标准的符号程序也不一样,可以进行视觉上的泛化。∂ILP从样例中学习可读、可解释、可验证的,明确的程序。已知部分样例(也就是预期的结果,下图中的desired results),∂ILP能生成一个满足需求的程序。它用梯度下降从程序空间中搜索,如果程序的输出与参考数据需要的输出相冲突,系统就会修改程序以更好地匹配数据。

∂ILP的训练过程如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

∂ILP能进行符号性的泛化,给它足够多x

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

上图总结了我们的“小于”实验:蓝色曲线表示标准的深度神经网络,无法正确泛化到从未见过的数字对,相比之下,在只用40%数字对训练过的情况下,绿色曲线表示的∂ILP依然能保持较低的测试误差。这表明,∂ILP能够进行符号性的泛化。

我们相信,对于深度神经网络中是否能够实现符号泛化这个问题,我们的系统能够在某种程度上给予答案。今后,我们计划将类似∂ILP的系统集成到强化学习智能体以及更大的深度学习模块中,赋予系统推理、反应的能力。

原文标题:DeepMind提出可微分逻辑编程,结合深度学习与符号程序优点

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

人工智能和机器学习正在逐步接管日常任务和高级任务

没有一个IT领导者或IT专家团队能对数据中心的重要任务施加精确(甚至更精细)的控制——精确到每一秒。....
发表于 01-19 09:52 39次 阅读
人工智能和机器学习正在逐步接管日常任务和高级任务

AR游戏公司Niantic已完成C轮融资将推出新款AR手游

据凤凰科技报道,增强现实(AR)游戏公司Niantic周三宣布,公司已经完成了2.45亿美元C轮融资....
发表于 01-19 09:32 29次 阅读
AR游戏公司Niantic已完成C轮融资将推出新款AR手游

Waymo用AutoML自动生成机器学习模型

Waymo十周年之际,发布了自动驾驶机器学习模型的构建思路,原来很多内部架构是由 AutoML 完成....
的头像 智车科技 发表于 01-19 09:05 144次 阅读
Waymo用AutoML自动生成机器学习模型

物联网平台重组迫在眉睫 垂直是新的发展机会

物联网(IOT)比以往任何时候都更加火爆,在2019年,市场领导者之间将进行更多合作,数百个物联网平....
的头像 物联之家网 发表于 01-18 17:12 368次 阅读
物联网平台重组迫在眉睫 垂直是新的发展机会

使用嵌入式AVR单片机进行核子秤配料自动控制系统的设计

重点讨论了基于一种新型单片机一AVR高速嵌人式单片机交流变频调速在核子秤配料自动控制系统中的应用,并....
发表于 01-18 17:01 27次 阅读
使用嵌入式AVR单片机进行核子秤配料自动控制系统的设计

Yelp最近又火了一把,基于一次失败的“被删库”体验

这个更新说明意味着 Yelp应用最近的更新重点为去除各种漏洞、程序缺陷和改善应用功能,或许是由于程序....
的头像 电子发烧友网工程师 发表于 01-18 16:25 153次 阅读
Yelp最近又火了一把,基于一次失败的“被删库”体验

一朵乌云出人意料地降临到了机器学习界,或将“颠覆”机器学习理论

近日,几位研究机器学习问题的数学家表示,“可学习性”问题——即算法能否从有限的数据中提取模式——与被....
的头像 电子发烧友网工程师 发表于 01-18 16:19 152次 阅读
一朵乌云出人意料地降临到了机器学习界,或将“颠覆”机器学习理论

全球工业机器人部署引发人类就业担忧

2018年至2021年期间,预计全球工厂将安装近210万台新型工业机器人。
的头像 传感物联网 发表于 01-18 15:40 178次 阅读
全球工业机器人部署引发人类就业担忧

解读深度学习是否过分夸大

滥用人工智能词汇很容易导致了从业人员对行业的混淆和怀疑。有人说深度学习只是机器学习的另一个别称,而其....
的头像 Imagination Tech 发表于 01-18 15:04 274次 阅读
解读深度学习是否过分夸大

人工智能知识体系有哪些内容

人工智能是目前最火热的技术领域,也是一门极富挑战性的科学,从事这项工作的人必须懂得计算机知识,数学、....
的头像 物联网技术 发表于 01-18 14:55 257次 阅读
人工智能知识体系有哪些内容

如何使用融合型深度学习进行滚动轴承亚健康识别算法

抢险救灾行动的有效规划和调度在挽救人民群众生命和减轻财产损失中起着重要作用,利用数学建模方法和计算机....
发表于 01-18 14:32 40次 阅读
如何使用融合型深度学习进行滚动轴承亚健康识别算法

探析机器学习构建人工智能的艰难历程

不久之前,人们还常说,计算机视觉的辨别能力尚不如一岁大的孩子。如今看来,这句话要改写了。计算机不仅能....
发表于 01-18 13:36 120次 阅读
探析机器学习构建人工智能的艰难历程

人工智能和机器学习正在越来越多的为工作平台和工具提供动力

金融行业正在以各种方式使用这些技术,从回答基本客户问题的聊天机器人,到帮助防止欺诈和洗钱的人工智能平....
发表于 01-18 11:14 61次 阅读
人工智能和机器学习正在越来越多的为工作平台和工具提供动力

人工智能究竟会不会迎来第三个冬天?

企业变精明了。想要卖出大型人工智能项目越来越难,不少咨询公司也从卖人工智能咨询退回到了卖廉价的Das....
的头像 电子发烧友网工程师 发表于 01-18 10:52 228次 阅读
人工智能究竟会不会迎来第三个冬天?

TensorFlow 2.0将专注于简单性和易用性

使用 tf.data 加载数据。使用输入管道读取训练数据,用 tf.data 创建的输入线程读取训练....
的头像 电子发烧友网工程师 发表于 01-18 10:44 166次 阅读
TensorFlow 2.0将专注于简单性和易用性

论文一作曾联名抵制Nature子刊,而今却发论文

他在Saharon Shelah和Menachem Magidor的监督下获得了博士学位论文。 Be....
的头像 新智元 发表于 01-18 10:11 205次 阅读
论文一作曾联名抵制Nature子刊,而今却发论文

2018人工智能产业创新评估白皮书:中国的AI产业创新发展现状

从中美两国对比来看,美国四项使能技术的理论研究和应用研究均大幅领先于中国。理论研究方面,中美两国在文....
的头像 新智元 发表于 01-18 09:56 326次 阅读
2018人工智能产业创新评估白皮书:中国的AI产业创新发展现状

八大机器学习数据集

网页中也有一个搜索框来帮助用户寻找想要的数据集,还有所有数据集的描述和使用示例,这些数据集信息丰富且....
的头像 新智元 发表于 01-18 09:52 199次 阅读
八大机器学习数据集

Chronolife推出可预知心脏病的特制背心

根据美国疾控中心(CDC)发布的数据,该国有超过570万成年人患有充血性心力衰竭(CHF)疾病。 相....
的头像 MEMS 发表于 01-17 18:01 366次 阅读
Chronolife推出可预知心脏病的特制背心

如何使用机器学习方法进行乳腺癌的辅助诊断

本文利用核主成分分析法对乳腺癌的影响因子进行特征提取,以获取的主成分作为支持向量机的特征向量建立支持....
发表于 01-17 16:58 17次 阅读
如何使用机器学习方法进行乳腺癌的辅助诊断

通用人工智能面临的挑战,人工智能和算法偏见

如今大多数的人工智能系统都不具备很好的扩展能力。AlphaZero、AlphaGo、OpenAI F....
的头像 人工智能学家 发表于 01-17 16:53 320次 阅读
通用人工智能面临的挑战,人工智能和算法偏见

人工智能在供应链管理中的应用

机器学习在有大数据的情况下学习效果最好。这些系统学习的速度就越快。在很多情况下,供应链应用程序将需要....
的头像 AI人工智能D1net 发表于 01-17 15:04 226次 阅读
人工智能在供应链管理中的应用

这个教程使你能够轻松学习深度学习

本项目一共分为4大部分,分别为:基础、深度学习、RNNS、进阶教程。蓝色的字体都是已经完成的教学文档....
的头像 算法与数据结构 发表于 01-17 14:32 121次 阅读
这个教程使你能够轻松学习深度学习

“互联网+医学影像”AI助推实现医疗资源均衡化

NGC容器旨在提供一个软件平台,该平台基于最小的操作系统要求、安装在服务器或工作站上Docker和驱....
的头像 英伟达NVIDIA企业解决方案 发表于 01-17 13:47 244次 阅读
“互联网+医学影像”AI助推实现医疗资源均衡化

全年开源项目的盘点和总结

如果你们这些.NET 开发者们想要学一点机器学习知识来补充现有的技能,你会怎么做?现在就有一个完美的....
的头像 人工智能 发表于 01-17 11:18 232次 阅读
全年开源项目的盘点和总结

机器学习对于解决无人驾驶的问题非常重要

1月10日,在青岛举行的2019国家智能产业峰会智能驾驶平行论坛上,孙振平研究员结合国内外机器学习相....
发表于 01-17 11:09 53次 阅读
机器学习对于解决无人驾驶的问题非常重要

我就是这样入门「机器学习」的

随着近几年计算机领域的不断发展,云服务与并行计算促进了计算力的提升,互联网的发展提供了海量的数据,这....
的头像 人工智能头条 发表于 01-17 11:08 495次 阅读
我就是这样入门「机器学习」的

机器学习如何运作 下一步是什么

今天的机器学习是以统计学为基础的,那么人工智能=统计学吗?
的头像 联动原素 发表于 01-17 10:36 323次 阅读
机器学习如何运作 下一步是什么

清华大学正式发布了《人工智能芯片技术白皮书(2018)》

目前,关于AI芯片的定义没有一个严格和公认的标准。较为宽泛的看法是面向人工智能应用的芯片都可以称为A....
的头像 MEMS技术 发表于 01-17 09:45 452次 阅读
清华大学正式发布了《人工智能芯片技术白皮书(2018)》

探析常见的几种最优化方法

最优化方法是一种数学方法,它是研究在给定约束之下如何寻求某些因素(的量),以使某一(或某些)指标达到....
的头像 人工智能爱好者社区 发表于 01-17 09:25 204次 阅读
探析常见的几种最优化方法

如何在Raspberry Pi 3上构建机器学习应用程序

希望评估机器学习方法的开发人员发现了越来越多的专业硬件和开发平台,这些平台通常针对特定类别的机器学习....
的头像 电子设计 发表于 01-17 08:24 191次 阅读
如何在Raspberry Pi 3上构建机器学习应用程序

李开复:AI的强大和人类对它的误解,以及我们能做什么来保护员工

虽然机器人可能不会用来将把健康诊断的消息传递给病人,但人工智能已经被用来辅助医生的工作。例如,斯坦福....
的头像 OFweek工控 发表于 01-16 17:32 422次 阅读
李开复:AI的强大和人类对它的误解,以及我们能做什么来保护员工

2018年的联络中心:嵌入式支持B2B应用程序

Jamison将机器人比作交互式语音应答(IVR)系统。"我们已经使用IVR 30年或更长时间了,我....
的头像 CTI论坛 发表于 01-16 17:25 407次 阅读
2018年的联络中心:嵌入式支持B2B应用程序

大牛预测2019人工智能发展趋势

在AlphaGo等吸引大众眼球的事件推动下,AI仍然是技术的热点之一,图像识别等一些成熟的人工智能应....
的头像 人工智能 发表于 01-16 17:08 511次 阅读
大牛预测2019人工智能发展趋势

人工智能医生如何看脸识病

DeepGestalt首先识别患者面部的五官,然后将图像裁剪成100×100像素大小的区域。接下来,....
的头像 人工智能 发表于 01-16 17:02 333次 阅读
人工智能医生如何看脸识病

嵌入式工程师到底有没有前途应该如何规划就业之路

嵌入式一直冠以高门槛的名号,相较于软件开发逊色的起步薪资也被网友调侃“饿肚子”。热情投入嵌入式的人比....
发表于 01-16 16:53 61次 阅读
嵌入式工程师到底有没有前途应该如何规划就业之路

CNN中卷积都有些什么作用

在传统的神经网络中,比如多层感知机(MLP),其输入通常是一个特征向量。需要人工设计特征,然后将用这....
的头像 Imagination Tech 发表于 01-16 14:41 149次 阅读
CNN中卷积都有些什么作用

改进粒子群优化神经网络的葡萄酒质量识别

随着我国经济的崛起,葡萄酒业也搭上了我国经济崛起的快速列车。葡萄酒产业规模不断壮大,但葡萄酒质量评定....
发表于 01-16 14:25 16次 阅读
改进粒子群优化神经网络的葡萄酒质量识别

三个研究小组在“破译”大脑语言密码上取得了一定进展

随着病人们听到故事录音以及0至9数字录音,他们的神经网络同步分析其听觉皮层(该皮层在语音和听力过程中....
的头像 电子发烧友网工程师 发表于 01-16 11:42 422次 阅读
三个研究小组在“破译”大脑语言密码上取得了一定进展

近十年人工智能21个子领域高引学者

在推荐系统领域(Recommender System),高引学者排名前三的学者依次是:纽约大学教授A....
的头像 电子发烧友网工程师 发表于 01-16 11:34 414次 阅读
近十年人工智能21个子领域高引学者

人工智能深度学习算法在工业机械臂上的应用

从功能上来说,你这个应用非常适合采用深度学习,事实上,深度学习本质上就是用来做分类识别的,尤其是针对....
的头像 IOT万物互联 发表于 01-16 10:55 841次 阅读
人工智能深度学习算法在工业机械臂上的应用

基于神经网络的计算模型,将大脑中的脑电数据转化为语言

而且众所周知:使用的数据越精确,模型的运行效果就越好,但是精准的模型需要开颅手术后才能获得,这样严苛....
的头像 将门创投 发表于 01-16 09:27 137次 阅读
基于神经网络的计算模型,将大脑中的脑电数据转化为语言

又一代码清库的惨案发生了,不过这次要背锅是AI

神经网络算法的这一波操作,让人不禁想起郭德纲的一个相声段子,“我心善,见不得穷人,于是把自己目之所及....
的头像 电子发烧友网工程师 发表于 01-16 09:12 301次 阅读
又一代码清库的惨案发生了,不过这次要背锅是AI

TensorFlow 2.0马上要来了,还不速来了解下新架构?

TensorFlow始终为生产提供了直接部署方式。无论是部署在服务器、边缘设备还是Web上,Tens....
的头像 新智元 发表于 01-16 08:45 201次 阅读
TensorFlow 2.0马上要来了,还不速来了解下新架构?

如何在Hadoop上运行这些深度学习工作

典型的深度学习工作流程:数据从各个终端(或其他来源)汇聚到数据湖中。数据科学家可以使用笔记本进行数据....
的头像 电子发烧友网工程师 发表于 01-15 16:29 242次 阅读
如何在Hadoop上运行这些深度学习工作

数据科学能力是否能够靠培训课程培养?

探索数据,尝试不同的特征工程和构建模型的方法是一项持久战。花费大量时间在这上面也可能会让你在Kagg....
的头像 电子发烧友网工程师 发表于 01-15 16:23 337次 阅读
数据科学能力是否能够靠培训课程培养?

探索了神经科学技术的相关应用,以确定人工神经网络中信息是如何结构化的

在 Mayes Meisen 和他同事的研究中,研究人员希望以破坏神经网络的特定区域的方法,观察该区....
的头像 电子发烧友网工程师 发表于 01-15 16:06 249次 阅读
探索了神经科学技术的相关应用,以确定人工神经网络中信息是如何结构化的

如何使用MS-KCF模型进行图像序列中人脸快速稳定检测

为快速稳定地检测图像序列中角度变化较大、遮挡较为严重的人脸,结合快速精确的目标检测模型MobileN....
发表于 01-15 15:44 24次 阅读
如何使用MS-KCF模型进行图像序列中人脸快速稳定检测

机器学习实验中图像增强的库imgaug详解

Py之imgaug:Python库之imgaug简介、安装、使用方法之详细攻略...
发表于 12-28 14:30 195次 阅读
机器学习实验中图像增强的库imgaug详解

大数据hadoop入门之hadoop家族产品详解

大数据这个词也许几年前你听着还会觉得陌生,但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”!越来越发现身边从...
发表于 12-26 15:02 334次 阅读
大数据hadoop入门之hadoop家族产品详解

主流深度学习框架比较

DL:主流深度学习框架多个方向PK比较
发表于 12-26 11:10 112次 阅读
主流深度学习框架比较

Win10系统进行深度学习时系统C盘满了,正确卸载一些非必要的内容的方法

C盘:当Win10系统进行深度学习的时候发现系统C盘满了,大神教你如何正确卸载一些非必要的内容——Jason niu...
发表于 12-26 10:45 97次 阅读
Win10系统进行深度学习时系统C盘满了,正确卸载一些非必要的内容的方法

神经网络DNN知识点总结

DNN:关于神经网络DNN的知识点总结(持续更新)
发表于 12-26 10:41 84次 阅读
神经网络DNN知识点总结

神经网络初始化方法Xavier

Paper之DL之BP:《Understanding the difficulty of training deep feedforward neural networks》...
发表于 12-25 17:23 83次 阅读
神经网络初始化方法Xavier

深度学习框架TensorFlow&TensorFlow-GPU详解

TensorFlow&TensorFlow-GPU:深度学习框架TensorFlow&TensorFlow-GPU的简介、安装、使用方法详细攻略...
发表于 12-25 17:21 151次 阅读
深度学习框架TensorFlow&TensorFlow-GPU详解

计算机视觉神经网络资料全集

CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录(第二次)——Jason niu...
发表于 12-24 11:52 146次 阅读
计算机视觉神经网络资料全集

计算机视觉神经网络资料全集

CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录(第二次)——Jason niu...
发表于 12-24 11:52 146次 阅读
计算机视觉神经网络资料全集

CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录

CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录...
发表于 12-24 11:51 125次 阅读
CV之YOLOv3:深度学习之计算机视觉神经网络Yolov3-5clessses训练自己的数据集全程记录