DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

中国人工智能学会 2018-01-31 08:58 次阅读

神经网络的强大功能有目共睹,但它往往需要大量与目标测试领域数据分布相似的训练数据;而用于符号领域的归纳逻辑编程只需少量数据,却无法对抗噪声,适用领域也很狭窄。

DeepMind在最近发表的一篇论文中,提出了可微分归纳逻辑编程方法∂ILP,既能解决传统归纳逻辑编程擅长的符号类任务,也对噪声数据、训练集中的误差有一定容忍度,还可以通过梯度下降来训练。

怎么样?我们来看看DeepMind在官方博客上对这种方法的解读:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

想象一下踢足球的场景,球到了你脚下,你决定把它传给没人盯防的前锋。这个看似简单的行为,需要两种不同的思维。

首先,你认识到自己脚下有一个球,这需要的是直观的感性思维——你没办法简单地描述出你是怎么知道脚下有个球的。

其次,你决定把球传给特定的一个前锋。这个决策需要概念性思维,你的决定依赖于理由——你把球传给这个前锋的原因,是没有人盯防她。

这种区别对我们来说很有意思,因为这两类思维对应着两种不同的机器学习方法:深度学习和符号程序合成(symbolic program synthesis)。

深度学习专注于直观的感性思维,而符号程序合成专注于概念性的、基于规则的思考。这两个系统各有各的优点,深度学习系统能适用于噪声数据,但难以解释,而且需要大量训练数据;符号系统更易于解释,需要的训练数据也更少,但一遇到噪声数据就不行了。

人类认知将这两种截然不同的思维方式无缝结合在了一起,但想要把这种结合复制到一个AI系统里,我们还不太清楚是否可能、如何做到。

我们最近在《JAIR》期刊(Journal of AI Research)上发表的论文表明,系统可以将直观的感性思维和概念性的可解释推理结合起来。我们所描述的∂ILP(可微分归纳逻辑编程,Differentiable Inductive Logic Programming)系统具有下列特性:抗噪声、数据上很经济、能产生可解释的规则。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

我们用一个归纳任务来演示∂ILP的工作原理:

已知一对表示数字的图片,系统需要根据左侧图像数字是否小于右侧图像的数字,输出0或1的标签,如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

解决这个问题涉及两种思维方式。从图像中认出数字,需要直观的感性思维;要整体理解“小于”关系,则需要概念性的思考。

其实,如果给标准的深度学习模型(例如带有MLP的卷积神经网络)提供足够的训练数据,它能学会有效地解决这个问题,训练完成后给它一对从未见过的新图像,它也可以正确分类。

但实际上,只有每对数字你都给它多个样例,它才能正确地泛化。这个模型擅长视觉上的泛化,比如说测试集中的每一对数字它都见过了,要泛化到新的图像,就很容易(见下图绿色方块)。但它不适用于符号的泛化,比如说它就不能泛化到从未见过的数字(见下图蓝色方块)。

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

马库斯(Gary Marcus)、Joel Grus等研究者最近都撰文指出了这一点。

不同于标准的神经网络,∂ILP能够进行符号的泛化;它和标准的符号程序也不一样,可以进行视觉上的泛化。∂ILP从样例中学习可读、可解释、可验证的,明确的程序。已知部分样例(也就是预期的结果,下图中的desired results),∂ILP能生成一个满足需求的程序。它用梯度下降从程序空间中搜索,如果程序的输出与参考数据需要的输出相冲突,系统就会修改程序以更好地匹配数据。

∂ILP的训练过程如下图所示:

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

∂ILP能进行符号性的泛化,给它足够多x

DeepMind提出了可微分归纳逻辑编程方法∂ILP并进行解读

上图总结了我们的“小于”实验:蓝色曲线表示标准的深度神经网络,无法正确泛化到从未见过的数字对,相比之下,在只用40%数字对训练过的情况下,绿色曲线表示的∂ILP依然能保持较低的测试误差。这表明,∂ILP能够进行符号性的泛化。

我们相信,对于深度神经网络中是否能够实现符号泛化这个问题,我们的系统能够在某种程度上给予答案。今后,我们计划将类似∂ILP的系统集成到强化学习智能体以及更大的深度学习模块中,赋予系统推理、反应的能力。

原文标题:DeepMind提出可微分逻辑编程,结合深度学习与符号程序优点

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

智能音箱成战略重点:谷歌首款带屏音箱Home Hub发布

功能方面,Home Hub加入了Home View功能,可以控制和管理家中所有智能家居设备。谷歌同时....

的头像 人工智能学家 发表于 10-16 16:17 952次 阅读
智能音箱成战略重点:谷歌首款带屏音箱Home Hub发布

数学推导+纯Python实现机器学习算法

跟上一讲写线性模型一样,在实际动手写之前我们需要理清楚思路。要写一个完整的逻辑回归模型我们需要:s....

的头像 人工智能爱好者社区 发表于 10-16 16:12 158次 阅读
数学推导+纯Python实现机器学习算法

华为提出了自己的全栈AI解决方案

华为认为,人工智能带来的改变将涉及所有行业,包括交通、教育、医疗和金融。而人工智能引发的变革才刚刚开....

的头像 重庆人工智能 发表于 10-16 16:09 510次 阅读
华为提出了自己的全栈AI解决方案

海康威视利用基于深度学习的人脸识别算法,开发出了近景人脸通行系统方案

DS-L8系列是海康威视创新设计、全新推出的联网智能锁,支持指纹、密码、刷卡、机械钥匙、APP临时密....

的头像 安全自动化 发表于 10-16 15:58 424次 阅读
海康威视利用基于深度学习的人脸识别算法,开发出了近景人脸通行系统方案

使用深度学习和OpenCV 进行视频目标检测

下一步,我们初始化视频流(来源可以是视频文件或摄像头)。首先,我们启动 VideoStream(第 ....

的头像 马哥Linux运维 发表于 10-16 15:03 135次 阅读
使用深度学习和OpenCV 进行视频目标检测

全面评测对iPhoneXS系列的实力进行解读

实测结果显示,iPhone XS系列的安兔兔跑分高达332569分,GeekBench单核跑分为48....

的头像 iPhone频道 发表于 10-16 11:20 543次 阅读
全面评测对iPhoneXS系列的实力进行解读

人工智能芯片的DNA

(本文由新思科技供稿,电子发烧友平台发布) 过去十年间,几项技术的进步使人工智能 (AI)成为最令人....

发表于 10-16 11:12 202次 阅读
人工智能芯片的DNA

纳米结构如何提高光学传感器的灵敏度?

该团队研究的光子纳米结构由具有规则孔状图案的硅层组成,其上覆有由硫化物制成的量子点涂层。激光激发后,....

发表于 10-15 16:20 47次 阅读
纳米结构如何提高光学传感器的灵敏度?

如何利用机器学习提高光学传感器灵敏度?

纳米结构的几何形状只要满足特定条件,并匹配入射光的波长,就能够大幅提高光学传感器的灵敏度。

的头像 MEMS 发表于 10-15 16:17 315次 阅读
如何利用机器学习提高光学传感器灵敏度?

Python+OpenCV 十几行代码模仿世界名画

现在很多人都喜欢拍照(自拍)。有限的滤镜和装饰玩多了也会腻,所以就有 APP 提供了 模仿名画风格 ....

的头像 人工智能精选 发表于 10-15 15:50 308次 阅读
Python+OpenCV 十几行代码模仿世界名画

11种深度学习框架影响力对比

现在数据科学领域最热门的方向仍旧是深度学习。相应地,深度学习框架也处于飞速变革之中。现在最流行的框架....

的头像 罗欣 发表于 10-15 11:50 304次 阅读
11种深度学习框架影响力对比

回归预测之入门

最近一段时间再看斯坦福大学几期学习的教学视频,有百度首席工程师、百度大脑以及百度研究院的负责人吴恩达教授讲述,内容深入浅...

发表于 10-15 10:19 79次 阅读
回归预测之入门

如何利用机器学习提高光学传感器灵敏度?

        纳米结构的几何形状只要满足特定条件,并匹配入射光的波长,就能够大幅提高光学传感器的...

发表于 10-15 09:51 45次 阅读
如何利用机器学习提高光学传感器灵敏度?

未来人工智能的五大发展趋势是怎么样的?

虽然人工智能曾经存在泡沫,但一般泡沫破灭之后就是发展。让我们一起看一下,在未来人工智能的发展趋势。

的头像 Thundersoft中科创达 发表于 10-14 11:45 532次 阅读
未来人工智能的五大发展趋势是怎么样的?

如何通过机器学习和人工智能实现SDN?

服务提供商眼中的SDN现状凭借其对网络简化和新收入流的优势,软件定义网络无疑已经引起了服务提供商的强....

的头像 机器人博览 发表于 10-14 11:10 504次 阅读
如何通过机器学习和人工智能实现SDN?

微软新的机器学习框架核心产品机器学习引擎infer.NET的概述

感觉微软对开源上瘾了。在开源了跨平台机器学习框架ML.NET之后,微软又开源了一个非常重要的机器学习....

的头像 人工智能 发表于 10-14 11:01 291次 阅读
微软新的机器学习框架核心产品机器学习引擎infer.NET的概述

纽劢科技以基于深度学习的多传感融合方案打造量产级自动驾驶

自动驾驶汽车的发展正成为社会各界关注的热点,国内外已有越多越多城市允许车辆进行道路测试。

的头像 智车科技 发表于 10-14 09:54 512次 阅读
纽劢科技以基于深度学习的多传感融合方案打造量产级自动驾驶

Xilinx Alveo U200数据中心加速器卡的主要性能和优势

启用 Alveo 加速器卡是 Xilinx 及合作伙伴应用的一个生态系统,主要面向数据中心的工作负载....

发表于 10-14 08:48 70次 阅读
Xilinx Alveo U200数据中心加速器卡的主要性能和优势

讨论游戏Emoji Scavenger Hunt的内部运作方式

Emoji Scavenger Hunt 游戏的核心功能是识别您的相机所看到的物体,并将其与游戏要求....

的头像 TensorFlow 发表于 10-13 10:41 334次 阅读
讨论游戏Emoji Scavenger Hunt的内部运作方式

《2018-2019 中国人工智能产业路线图》V2.0 版即将重磅面世!

2018 年计算机视觉技术在视频安防和工业视觉领域应用是发展最快的两个领域,尤其在视频安防领域,也是....

的头像 电子发烧友网工程师 发表于 10-13 09:48 763次 阅读
《2018-2019 中国人工智能产业路线图》V2.0 版即将重磅面世!

亚马逊机器学习专家发现,他们的新型招聘工具并不欢迎女性

高盛公司也创建了自己的简历分析工具,目的是选出最契合公司的候选人。而世界最大的职业招聘网站Linke....

的头像 论智 发表于 10-13 09:15 557次 阅读
亚马逊机器学习专家发现,他们的新型招聘工具并不欢迎女性

GAN之父Goodfellow回顾自己当年的科研经历

近日,NeuroAscent联合创始人、数据科学家Sanyam Bhutani对Ian Goodfe....

的头像 论智 发表于 10-13 09:11 291次 阅读
GAN之父Goodfellow回顾自己当年的科研经历

激活函数如何隐式地改变传入网络层的数据分布,进而影响网络的优化过程

你可以自己试验一下。我试了很多次,从来没能得到一个数量级大于10-18的数。如果这个值是神经元A的梯....

的头像 论智 发表于 10-13 08:58 239次 阅读
激活函数如何隐式地改变传入网络层的数据分布,进而影响网络的优化过程

自动图片文本辨认是计算机视觉和机器学习处理大型数据的重要案例

从计算机视觉的角度来看,虽然对人类来说,看真实的文件和影印版的没有太大差别,但对计算机就大不一样了:....

的头像 论智 发表于 10-13 08:54 304次 阅读
自动图片文本辨认是计算机视觉和机器学习处理大型数据的重要案例

基于隐马尔可夫模型( HMM )开发了一个驾驶行为预测模型

为了实现基于HMM的驾驶行为预测,该过程必须分为两部分:第一部分是模型的训练,第二部分是估计最可能的....

的头像 智车科技 发表于 10-12 14:53 170次 阅读
基于隐马尔可夫模型( HMM )开发了一个驾驶行为预测模型

如何发展物联网战略

亚马逊公司前高管约翰·罗斯曼分享他的清单,可以为组织开发物联网战略提供一定的参考。 物联网(IoT)可能是互联网时代曙光之...

发表于 10-12 10:03 113次 阅读
如何发展物联网战略

物联网时代企业需要什么样的人才?

物联网(IoT)技术的大爆发时代即将到来,世界将进入真正的万物互联。据记者 了解,某科技公司高管明确表示,现在与客户所谈的项...

发表于 10-12 10:00 64次 阅读
物联网时代企业需要什么样的人才?

黄仁勋在刚刚结束的GTC Europe主题演讲都有哪些内容?

据分析师估计,面向数据科学和机器学习的服务器市场每年价值约为200亿美元,加上科学分析和深度学习市场....

的头像 英伟达NVIDIA中国 发表于 10-12 09:14 699次 阅读
黄仁勋在刚刚结束的GTC Europe主题演讲都有哪些内容?

苹果公司悄然花费大约3000万美元购买Spektral

本次收购可能会对Apple的AR计划产生重大影响。能够正确隔离实时视频中的特定元素可以实现ARKit....

的头像 AR联盟 发表于 10-12 09:13 729次 阅读
苹果公司悄然花费大约3000万美元购买Spektral

UC Berkeley大学的研究人员们利用深度姿态估计和深度学习技术

给定一段视频,我们用基于视觉的动作估计器预测每一帧演员的动作qt。该动作预测器是建立在人类网格复原这....

的头像 论智 发表于 10-12 09:06 252次 阅读
UC Berkeley大学的研究人员们利用深度姿态估计和深度学习技术

重温多种增强循环神经网络的方式

一提起 RNN,我们最容易想到的实现就是 LSTM + attention。LSTM 作为经典的网络....

的头像 人工智能 发表于 10-11 15:10 252次 阅读
重温多种增强循环神经网络的方式

如何在2个月内从零开始学习人工智能

人工智能正在成为像“电力”一样的东西,每一个关系未来发展的人都应该对其有所了解。尤其是开发者,不懂人....

的头像 人工智能 发表于 10-11 15:02 348次 阅读
如何在2个月内从零开始学习人工智能

《深度学习:AI革命及其前沿进展》报告

018年9月9日-14日,DeepMind主办的Deep Learning Indaba 2018大....

的头像 智能制造 发表于 10-11 14:27 412次 阅读
《深度学习:AI革命及其前沿进展》报告

AI系统存在巨大缺陷 看图识物比不上人类幼儿

上个月,来自约克大学和多伦多大学的两名研究人员合作发表了一篇论文:The Elephant in t....

的头像 罗欣 发表于 10-11 14:25 348次 阅读
AI系统存在巨大缺陷 看图识物比不上人类幼儿

探索“What-If”场景通常意味着编写一次性的自定义代码来分析特定模型

What-If 工具拥有各种功能,包括使用 Facets 自动可视化数据集、手动编辑数据集示例并查看....

的头像 TensorFlow 发表于 10-11 11:31 263次 阅读
探索“What-If”场景通常意味着编写一次性的自定义代码来分析特定模型

利用面向Google Cloud的Microchip AVR® MCU开发板,轻松一点即可创建安全的连网应用

新解决方案让设计人员能够在Google Cloud IoT Core的人工智能和机器学习架构中轻松。

的头像 人间烟火123 发表于 10-11 10:45 1100次 阅读
利用面向Google Cloud的Microchip AVR® MCU开发板,轻松一点即可创建安全的连网应用

一种深度学习系统可以从高精度的气候模拟中识别出极端天气模式

研究人员表示这一研究实现了很多记录,不仅是在气象科学领域第一次将深度学习用于解决如此大规模的气候分割....

的头像 将门创投 发表于 10-11 10:11 361次 阅读
一种深度学习系统可以从高精度的气候模拟中识别出极端天气模式

Keras和TensorFlow究竟哪个会更好?

Keras 依然作为一个库,与 TensorFlow 分开,进行独立操作,所以仍存在未来两者会分开的....

的头像 电子发烧友网工程师 发表于 10-11 10:05 344次 阅读
Keras和TensorFlow究竟哪个会更好?

机器学习笔试题精选

机器学习是一门理论性和实战性都比较强的技术学科。在应聘机器学习相关工作岗位时,我们常常会遇到各种各样的机器学习问题和知识...

发表于 10-11 10:03 98次 阅读
机器学习笔试题精选

探讨新款煤气灶,对VR头显能起到多大作用

新显卡的测评首先带来刷新率和画面效果的提升。新的两款显卡RTX 2080与GTX 1080Ti在实测....

的头像 VR陀螺 发表于 10-11 09:29 830次 阅读
探讨新款煤气灶,对VR头显能起到多大作用

LinkedIn宣布收购旨在提高企业和其他组织员工参与度的初创公司Glint

Glint公司的现有产品包括员工参与度、员工生命周期、管理有效性和团队有效性。该公司往往会对员工进行....

的头像 企业通信D1net 发表于 10-10 17:35 599次 阅读
LinkedIn宣布收购旨在提高企业和其他组织员工参与度的初创公司Glint

JavaScript也能玩机器学习—— 5个开源 JavaScript 机器学习框架

作者 | 极链科技Video++技术中心前端Team整理 | 包包3个月前,公司AI团队给我们分享了....

的头像 张康康 发表于 10-10 13:43 210次 阅读
JavaScript也能玩机器学习—— 5个开源 JavaScript 机器学习框架

9月份最热门的机器学习开源项目TOP 5

论文和代码 相信大家都曾为如何自己实现论文中的代码而苦恼过,在互联网上搜索相关的代码可以说是非常的令人煎熬。在这个 rep...

发表于 10-10 13:39 89次 阅读
9月份最热门的机器学习开源项目TOP 5

NAC的工作原理,以及它如何处理加法和减法等操作

现在,我们可以定义样板代码来训练模型。 我们首先定义占位符 X 和 Y,用以在运行时提供数据。 接下....

的头像 TensorFlow 发表于 10-10 11:34 241次 阅读
NAC的工作原理,以及它如何处理加法和减法等操作

fast.ai发布的一个简便、好用的PyTorch库

Christine McLeavey Payne是从上一期Fast.ai深度学习课程中脱颖而出的一名....

的头像 论智 发表于 10-10 09:20 354次 阅读
fast.ai发布的一个简便、好用的PyTorch库

假设不懂数据科学,如何解决问题?

常识告诉你,应该选择那些最忠诚的顾客,毕竟,他们是最可能对邮件感兴趣的人。(不过,其实这个问题也可以....

的头像 论智 发表于 10-10 09:09 229次 阅读
假设不懂数据科学,如何解决问题?

Google欲用神经网络搜索来实现语义分割

在 arxiv 浏览论文的时候,单独看文章名不知道属于 CV 哪个领域,怀着对一作 Liang-Ch....

的头像 人工智能学家 发表于 10-09 16:53 239次 阅读
Google欲用神经网络搜索来实现语义分割

深度学习算法应用于三维医学影像的超快分析

英国《自然·医学》杂志13日在线发表的两项独立研究显示,最新的人工智能(AI)已可以基于三维医学影像....

的头像 通信信号处理研究所 发表于 10-09 16:40 354次 阅读
深度学习算法应用于三维医学影像的超快分析

LSTM几个关键“门”与操作

STEP 1: 决定从“细胞状态”中丢弃什么信息即“忘记门”。比如一篇小说的推导,小说中可能有几个人....

的头像 Imagination Tech 发表于 10-09 16:17 179次 阅读
LSTM几个关键“门”与操作

干货 | TensorFlow的55个经典案例

导语:本文是TensorFlow实现流行机器学习算法的教程汇集,目标是让读者可以轻松通过清晰简明的案例深入了解 TensorFlow。这些...

发表于 10-09 11:28 123次 阅读
干货 | TensorFlow的55个经典案例

深度学习颠覆了传统生物识别技术,未来生物识别技术的应用领域将更加广泛

目前在安防领域应用较为普遍的生物特征识别技术就包含了一部分以计算机视觉为技术基础的人员身份特征,除了....

发表于 10-09 10:54 336次 阅读
深度学习颠覆了传统生物识别技术,未来生物识别技术的应用领域将更加广泛

分享一个自己写的机器学习线性回归梯度下降算法

单变量线性回归算法,利用Batch梯度梯度下降算法迭代计算得到误差最小的代价函数theta0,theta1。调节学习率a可以观察拟合得到的...

发表于 10-02 21:48 204次 阅读
分享一个自己写的机器学习线性回归梯度下降算法

25个机器学习面试题,你都会吗?

机器学习有非常多令人困惑及不解的地方,很多问题都没有明确的答案。但在面试中,如何探查到面试官想要提问的知识点就显得非常...

发表于 09-29 09:39 224次 阅读
25个机器学习面试题,你都会吗?

Zynq,reVISION和CNN/DNN没有准备好?

从网站和论坛帖子看,reVISION堆栈的机器学习部分尚未发布。 演示不提供源代码,仅为zc102。 已公布了Caffe支持,​​但...

发表于 09-28 16:54 68次 阅读
Zynq,reVISION和CNN/DNN没有准备好?