3个方法教AI学会遗忘

人工智能学家 2018-06-13 09:43 次阅读

大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了,街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘,讨厌遗忘。

然而,生而为人,健忘其实是种关键能力。对于人类而言,遗忘绝不仅仅是“想不起来”,而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。现在,数据科学家们正在尝试应用神经科学原理来改进机器学习,并且坚信人类大脑能够解锁图灵完备的人工智能。

人脑为什么需要遗忘

我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据,筛选有用的信息,然后清理任何不相关的细节,用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间,类似在计算机上运行磁盘清理。

用神经生物学的术语来说,遗忘发生于神经元之间的突触连接减弱或者消失之时,同时随着新神经元的发育,他们又会重新连接海马回路,覆盖现有记忆。

对于人类来说,遗忘有两个好处:

通过减少过时信息对我们决策的影响来增强灵活性

防止过度拟合过去的特定事件和促进概括能力

为了有效地适应环境,人类需要有策略性遗忘的能力。

计算机也需要遗忘?

计算机的遗忘与人类的不同,这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功,但它们的遗忘方式也与我们不一样。

举一个简单的例子,如果你教一个讲英语的孩子学习西班牙语,这个孩子会在学习过程中应用英语学习的技巧,比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分,比如口音、嘟囔、语调等。如此,这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。

相比之下,如果你已经训练了一个神经网络去学习英语,那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语,它就会生成新的适应系统并覆盖以前为学习英语所获得的知识,删除所有内容并重新开始。这被称作“灾难性遗忘”,并被认为是“神经网络的一个根本局限”。

虽然这还是一个新领域,最近科学家们已经在探索克服这种限制的潜在理论,并取得了长足的进步。

3个方法教AI学会遗忘

长短期记忆网络(LSTM)

LSTM是一种循环神经网络,它使用特定的学习机制来决定在任意一个节点哪些信息需要记住,哪些需要更新,哪些需要关注。

LSTM工作机制如何?一个简单的解释是拿电影来做类比:假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀,计算机会猜测她是一个厨师还是凶手呢?另一个场景中,一个女人和一个男人在金色拱门下吃寿司:计算机会猜他们是在日本还是麦当劳呢?或者其实他们是在圣路易斯?

大拱门是美国圣路易斯的标志性建筑

LSTM通过以下3步提升神经网络:

遗忘/记忆

“当场景结束,模型应该忘记当前场景的位置,所处时间,并重置任何特定场景的信息;然而,如果场景中的一个角色死亡了,机器则应该继续记住他不再活着的事实。因此,我们希望机器能学习掌握一个相互独立的遗忘/记忆机制,这样当新信息进来时,它知道什么观念该保留什么该丢弃。”

——Edwin Chen

保存

当模型看到一张新图像,它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌,机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢?

划重点

我们可能需要记住电影中的这个女人是个母亲这一信息点,因为我们稍后会看见她的孩子们,但是这个信息在她不出现的场景里可能并不重要,所以在那些场景里我们不需要重点关注。同样,并非所有存储在神经网络的长期记忆中的内容都是立即相关的,所以LSTM所做的就是在安全保存所有信息备用的同时,帮助决定哪一部分在哪一时刻被重点关注。

弹性权重固化(EWC)

EWC是由谷歌旗下DeepMind的研究人员于2017年3月创建的一种算法,旨在模拟一种被称为突触整合的神经科学过程。在突触整合过程中,我们的大脑评估一项任务,计算许多用于执行任务的神经元的重要性,同时权衡哪些神经元对正确执行任务更为重要。

这些关键的神经元被编译为重要的,并且在随后的任务中相对不可能被覆盖。同样,在神经网络中,多个连接(如神经元)被用于执行任务。EWC将一些连接编译为至关重要的,从而保护他们不被覆盖/遗忘。

在下面的图表中,你可以看到研究人员将EWC应用于Atari游戏时发生了什么。蓝线表示标准的深度学习过程,红线及棕线则由EWC提供以显示改进后的结果:

瓶颈理论

瓶颈理论由耶路撒冷希伯来大学的计算机科学家和神经科学家Naftali Tishby在2017年秋提出。这个构想是,网络摆脱了嘈杂的无关细节的输入数据,就好比用瓶颈将信息挤压,只保留与基本概念最相关的特征。

Tishby解释说,神经网络经历了两个阶段的学习——拟合与压缩。在拟合过程中,网络标记其训练数据;而在更漫长的压缩过程中,它“丢弃关于数据的信息,只跟踪最强大的特征”,也即是那些最能帮助它泛化的特征。通过这种方式,压缩成为策略性遗忘的一种方式,掌控这一瓶颈也可能成为AI研究人员用于构建未来更强大神经网络的新目标和体系的一个工具。

正如Tishby所说:“遗忘才是学习过程中最重要的一部分。”

人类大脑和遗忘的过程中,有可能藏着通往强AI的密码。但科学家们仍在上下求索。

原文标题:教机器遗忘或许比学习更重要:让AI健忘的三种方式

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

英特尔和飞利浦共同加快AI医疗的进一步发展

全球人工智能产值到2022年预计会达到2000亿美元,如果照目前的趋势发展下去,医疗保健将会在这一市....

发表于 08-19 11:29 32次 阅读
英特尔和飞利浦共同加快AI医疗的进一步发展

新时代下的人工智能+围棋会碰撞出什么样的火花?

围棋被誉为“人类智慧最后的堡垒”,曾任总参办公厅主任的林建超将军组织专门的力量进行核算,得出的结论是....

发表于 08-19 09:07 46次 阅读
新时代下的人工智能+围棋会碰撞出什么样的火花?

软件巨头Salesforce带来AutoML杀手TransmogrifAI

如果说去年“机器换人”的舆论来自车间的机器人手,那今年在全球范围内挥舞起“自动化”大棒的,就成了机器....

的头像 论智 发表于 08-18 11:32 579次 阅读
软件巨头Salesforce带来AutoML杀手TransmogrifAI

在计算机中存储器的主要作用是什么?

1、启动计算机。计算机从只读存储器(ROM)中加载数据,然后执行通电自检 (POST),确认所有主要....

发表于 08-18 10:41 63次 阅读
在计算机中存储器的主要作用是什么?

Intel收购Vertex.AI,以便整合自家AI业务

据科技博客TechCrunch北京时间8月17日报道,Intel公司想要把更多人工智能(AI)技术整....

发表于 08-18 10:20 21次 阅读
Intel收购Vertex.AI,以便整合自家AI业务

科技王凡:如何保证自主泊车的安全

纵目科技王凡提出了“自动驾驶安全的马斯洛三角形”,让人耳目一新。

的头像 佐思汽车研究 发表于 08-18 10:12 497次 阅读
科技王凡:如何保证自主泊车的安全

华为nova3iAI四摄的强大之处在哪里?

随着8月10日华为nova3i的正式开售,智能手机市场中又掀起了一波猛烈的时尚浪潮。凭借着出色的外观....

发表于 08-18 10:08 79次 阅读
华为nova3iAI四摄的强大之处在哪里?

每日十条新闻点评

1)台被动元件厂瞄準新蓝海 决胜车用电子新战场 抢进苹果、Google及大陆自驾平台供应链突围 2....

的头像 芯片那点事儿 发表于 08-18 10:06 1309次 阅读
每日十条新闻点评

AI人工智能电话机器人的发展分析,中国人工智能发展情况

李开复先生在TED关于人工智能的演讲,这场15分钟的演讲让人对于人工智能有了新的认识。

的头像 人工智能领域 发表于 08-18 09:14 430次 阅读
AI人工智能电话机器人的发展分析,中国人工智能发展情况

为什么AI的翻译水平还远不能和人类相比?

AI 的翻译水平真的已经可以和人类媲美了吗?而本文的作者从 NMT 技术出发,分析了这项技术仍存在的....

的头像 电子发烧友网工程师 发表于 08-18 08:49 359次 阅读
为什么AI的翻译水平还远不能和人类相比?

阿尔法蛋拥有什么超能力?

很多人都知道“阿尔法狗”,不过你听说过“阿尔法蛋”吗?这款2016年上市的陪伴型人工智能机器人,有六....

的头像 电子发烧友网工程师 发表于 08-18 08:47 441次 阅读
阿尔法蛋拥有什么超能力?

云计算和AI或成谷歌新的切入点

近日,国内对谷歌重返中国内地市场热议纷纷。《人民日报》在海外社交媒体对于此事的发文“欢迎谷歌重返中国....

的头像 人工智能 发表于 08-17 16:31 334次 阅读
云计算和AI或成谷歌新的切入点

中国想要成为人工智能行业的先行者要做什么准备?“AI+”产业落地是关键

根据熊彼特的创新经济学理论,纵观人类文明史,每一次重大技术革命的来临,都将对原有基础设施带来颠覆性....

发表于 08-17 15:02 186次 阅读
中国想要成为人工智能行业的先行者要做什么准备?“AI+”产业落地是关键

关于计算机与网络安全知识浅析

网络和Internet安全领域涉及,阻止,防止,检测和纠正信息传输过程中的安全违规行为的措施。

发表于 08-17 11:15 40次 阅读
关于计算机与网络安全知识浅析

场景应用全垒打 网红优友C位亮相

8月15日,2018世界机器人大会在北京亦创国际会展中心盛大开启,中国智能服务机器人领军企业康力优蓝....

的头像 机器人创新生态 发表于 08-17 09:53 273次 阅读
场景应用全垒打 网红优友C位亮相

英特尔收购深度学习创业公司Vertex.AI,实现边缘计算的灵活深度学习

据科技博客TechCrunch北京时间8月17日报道,英特尔公司想要把更多人工智能(AI)技术整合到....

的头像 罗欣 发表于 08-17 09:31 648次 阅读
英特尔收购深度学习创业公司Vertex.AI,实现边缘计算的灵活深度学习

单片机原理与应用及C51程序设计(第三版)PPT电子教材详细资料免费下载

单片机原理与应用及C51程序设计(第三版)是清华大学出版社的教材课件,包含各章节PPT、电路图、程序....

发表于 08-17 08:00 40次 阅读
单片机原理与应用及C51程序设计(第三版)PPT电子教材详细资料免费下载

用AI保护物联网业务安全,青莲云2018新品发布会圆满落幕

2018年8月16日,青莲云2018物联网安全新品发布会今日在深圳四季酒店举行。发布会上,青莲云重磅....

的头像 章鹰 发表于 08-16 19:05 1809次 阅读
用AI保护物联网业务安全,青莲云2018新品发布会圆满落幕

AI对就业会有什么影响?以下五个问题能告诉你答案!

仿佛一夜之间,人工智能以难以阻挡之势来到我们面前。媒体对人工智能报道的热度持续攀升,图像识别软件、聊....

发表于 08-16 17:52 598次 阅读
AI对就业会有什么影响?以下五个问题能告诉你答案!

利用AI技术预测未来,人工智能可为出行出谋划策

美国麻省理工学院人工智能实验室CSAIL的研究人员,已经开发出一种深度学习算法,它可以创作出“未来视....

发表于 08-16 17:43 132次 阅读
利用AI技术预测未来,人工智能可为出行出谋划策

瑞芯微与商汤科技达成合作,推动人脸识别AI芯片的发展

当下AI芯片成为毋庸置疑的大热风口之一。AI芯片发展从大环境来看,并不是孤立存在的,最重要的一点是要....

发表于 08-16 16:12 76次 阅读
瑞芯微与商汤科技达成合作,推动人脸识别AI芯片的发展

陆奇是个怎么样的人?放弃百度选YC是为什么?

8月15日,北京东三环瑰丽酒店三层,已从媒体视野中消失三个多月的陆奇,出现在现场二十多家媒体的视野中....

发表于 08-16 14:08 372次 阅读
陆奇是个怎么样的人?放弃百度选YC是为什么?

“AI+医学影像”前景广阔,能够解决行业痛点

人工智能发展至今,技术上不断取得突破,寻找落地应用场景成为AI企业的头等大事。近年来,随着国家对医....

发表于 08-16 11:24 85次 阅读
“AI+医学影像”前景广阔,能够解决行业痛点

韩宣新增三大策略投资领域 未来5年投入90亿美元

韩国政府决定2019年对大数据(big data)、人工智能(AI)、氢经济等三大策略领域投资1.5....

的头像 DIGITIMES 发表于 08-16 11:08 357次 阅读
韩宣新增三大策略投资领域 未来5年投入90亿美元

陆奇去哪儿终于有了答案,陆奇宣布成为Y Combinator中国创始人

现年57岁的陆奇被称为“硅谷最有权势的华人”,加入百度前,陆奇在微软担任全球执行副总裁。他先后就读于....

的头像 新智元 发表于 08-16 09:51 386次 阅读
陆奇去哪儿终于有了答案,陆奇宣布成为Y Combinator中国创始人

强强联手,瑞芯微与商汤科技联合发布AI人脸识别一站式解决方案

8月15日,中国芯片研发企业Rockchip瑞芯微与商汤科技正式宣布战略合作,瑞芯微将在旗下芯片平台....

的头像 章鹰 发表于 08-16 09:47 797次 阅读
强强联手,瑞芯微与商汤科技联合发布AI人脸识别一站式解决方案

英特尔的AI芯片战略:推动数据中心技术的新时代

英特尔在过去20年中销售了超过2.2亿台Xeon处理器,创造了1300亿美元的收入。但最近的10亿美....

发表于 08-16 09:43 80次 阅读
英特尔的AI芯片战略:推动数据中心技术的新时代

未来AI可以欺骗你,还可以复制你,你信吗

数学和科学以简单而相对微小的方程式描述世界上最复杂的事物,这是一种非常美妙的方式。我们对科学的理解还....

发表于 08-16 09:29 44次 阅读
未来AI可以欺骗你,还可以复制你,你信吗

荷兰Efteling主题公园,使用AI检测游乐设施故障

其中一家公司Noiseless Acoustics,在声学上检测机器,使用硬件,软件和分析的混合来收....

发表于 08-16 09:26 56次 阅读
荷兰Efteling主题公园,使用AI检测游乐设施故障

AI芯片风口,华为与瑞芯微谁可以笑到最后呢

智能互联设备激增催热人工智能AI芯片 近几年,市场上一个明显的趋势是智能手机的人口红利正在消失,出货....

发表于 08-16 09:00 60次 阅读
AI芯片风口,华为与瑞芯微谁可以笑到最后呢

谷歌AI诊断眼病,准确率超过专家医生

DeepMind的算法使用Moorfields提供的14884个匿名3D视网膜扫描图像进行训练,这些....

的头像 人工智能 发表于 08-15 16:53 389次 阅读
谷歌AI诊断眼病,准确率超过专家医生

以色列AI医疗公司利用AI赋能超声波扫描

超声波扫描技术在医学应用广泛,医生利用其高频波穿透皮肤和拍摄软组织结构的功能,来进行非侵入性扫描,检....

的头像 MEMS 发表于 08-15 16:44 426次 阅读
以色列AI医疗公司利用AI赋能超声波扫描

AI商业化需要思考那三个问题?

AI 商业化导读:每一次技术革命,都带来全新的商业机会。互联网的出现,本质上解决了效率和链接的问题,....

发表于 08-15 16:38 19次 阅读
AI商业化需要思考那三个问题?

丁香园与科大讯飞签署战略合作协议

双方将整合丁香园深厚的数字化医疗资源、科大讯飞领先的医疗人工智能技术,以及成熟的行业经验和商业模式设....

的头像 机器人技术与应用 发表于 08-15 16:35 323次 阅读
丁香园与科大讯飞签署战略合作协议

埃森哲携手码隆科技战略布局人工智能

今天(8月13日),埃森哲与码隆科技达成战略合作关系,并投资持有了其少数股权。具体投资额度和持股比例....

的头像 芯智讯 发表于 08-15 16:24 221次 阅读
埃森哲携手码隆科技战略布局人工智能

探讨英特尔在以数据为中心的计算新时代的发展机遇

美国时间8月8日,2018英特尔“以数据为中心”创新峰会正式召开,本次会议分享了英特尔以数据为中心的....

的头像 知IN 发表于 08-15 16:21 452次 阅读
探讨英特尔在以数据为中心的计算新时代的发展机遇

如何解决AI应用歧视特定人群的问题?

当使用谷歌翻译将西班牙语的新闻翻译为英语时,涉及到女性的短语通常都会翻译为“他说”或“他写道”。

的头像 人工智能学家 发表于 08-15 15:53 263次 阅读
如何解决AI应用歧视特定人群的问题?

新势力如何寻找人脸识别价格战的新出路?

GPLP表示,摄像头领域的产业链很长,传统的硬件厂商已经深耕多年;而一般新兴的人脸识别算法公司很难把....

的头像 安全自动化 发表于 08-15 15:26 377次 阅读
新势力如何寻找人脸识别价格战的新出路?

逼近一万亿美元,推动亚马逊市值飙涨的因素是什么?

推动亚马逊不断飙涨因素包括运营数据、现金流以及业绩,和各项业务成长性等诸多因素,不过,AWS云服务和....

的头像 传感物联网 发表于 08-15 14:06 194次 阅读
逼近一万亿美元,推动亚马逊市值飙涨的因素是什么?

谷歌眼疾诊断AI比人类医生更准确

谷歌DeepMind与伦敦眼科医院合作研发的眼疾诊断算法的错误率为5.5%,而8名人类医生的错误率在....

的头像 1号机器人网 发表于 08-15 09:39 266次 阅读
谷歌眼疾诊断AI比人类医生更准确

利用独创的深度学习模型,通过对大量音乐数据的学习及训练写出音乐作品

具体来说,他们的技术核心是层次化深度学习网络结构和生成式对抗学习方式,特点是可以让生成的乐曲赋有多样....

的头像 电子发烧友网工程师 发表于 08-15 09:09 280次 阅读
利用独创的深度学习模型,通过对大量音乐数据的学习及训练写出音乐作品

DeepMind推出AI眼病诊断工具,准确率高达94%

不过Keane表示,对OCT扫描的使用已经过度,缺乏足够的能够正确解释扫描结果的专家。因此,OCT扫....

的头像 新智元 发表于 08-15 08:27 356次 阅读
DeepMind推出AI眼病诊断工具,准确率高达94%

AI+商业化案例,各行各业如何于AI技术进行如何

每一次新技术的诞生,都带来全新的商业机会。互联网的出现,本质上解决了效率和链接的问题,外卖、社交、打....

发表于 08-14 18:44 32次 阅读
AI+商业化案例,各行各业如何于AI技术进行如何

传统的音频降噪方式!通过AI识别场景,智能降噪

第二种是通过在终端设备内置场景降噪的软件,通过算法来实现降噪。这对于终端计算能力有很高要求,一方面对....

的头像 面包板社区 发表于 08-14 17:57 1301次 阅读
传统的音频降噪方式!通过AI识别场景,智能降噪

AI与医疗融合,未来智能医疗的趋势

随着市场需求的不断变革,AI的发展似乎已经出现疲态,从最初只追求技术上的突破和创新,到现在更在意AI....

发表于 08-14 15:54 269次 阅读
AI与医疗融合,未来智能医疗的趋势

电脑内存条和液态硬盘的区别

硬盘与内存的区别是很大的,这里只谈最主要的三点:一、内存是计算机的工作场所,硬盘用来存放暂时不用的信....

发表于 08-14 11:48 92次 阅读
 电脑内存条和液态硬盘的区别

工业互联网该如何发展,坚持开放和构建伙伴生态是必由之路

工业数字化领域,自GE在全球范围内提出工业互联网概念并推出Predix以来,工业互联网一度成为工业4....

发表于 08-14 09:00 221次 阅读
工业互联网该如何发展,坚持开放和构建伙伴生态是必由之路

联发科如何熬过后4G时代?

联发科虽然早在2017年底,就领先同业祭出AI(人工智能)应用,将旗下行动装置、智能家庭芯片平台全面....

的头像 ICChina 发表于 08-13 18:26 642次 阅读
联发科如何熬过后4G时代?

Xilinx利用FPGA迈出了AI领域的第一步,未来前景可期

未来几年,人工智能芯片的需求将急剧上升。联合市场研究公司(Allied Market Researc....

发表于 08-13 16:49 137次 阅读
Xilinx利用FPGA迈出了AI领域的第一步,未来前景可期

AI、VR等技术依据每位患者个体推出个性化的诊疗,助力自闭症的治疗

自闭症儿童被称为“星星的孩子”,他们在影视作品中的形象是孤僻又温暖的天才。如同《雨人》中拥有数学才能....

发表于 08-13 16:36 140次 阅读
AI、VR等技术依据每位患者个体推出个性化的诊疗,助力自闭症的治疗

实现单片机和计算机之间的数据交换程序分享

[table] [tr][td] 实现单片机和计算机之间的数据交换, Windows 环境下的Visual Basic 6.0 作为可视化的编程工具, 具有完整的...

发表于 07-19 06:18 68次 阅读
实现单片机和计算机之间的数据交换程序分享

DM365 IPNC通过IE修改时间后,重启后就没视频了这是什么情况?

我们的DM365 IPNC 通过IE修改时间为与计算机同步或者自己设置时间,然后重启后就没视频了,视频成紫色,时间为修改后的...

发表于 06-15 02:40 123次 阅读
DM365 IPNC通过IE修改时间后,重启后就没视频了这是什么情况?

在网上搜的单片机简易计算机的c语言代码,编译总是失败。请问这是什么原因?

网上搜的单片机简易计算机的c语言代码,编译总是失败不知道原因出现在哪里,求大佬帮忙看下,没什么分可以给,大佬体谅下QwQ...

发表于 05-29 16:54 606次 阅读
在网上搜的单片机简易计算机的c语言代码,编译总是失败。请问这是什么原因?

吴福朝的《计算机视觉中的数学方法》

关于摄影几何的一本书,《计算机视觉中的数学方法(吴福朝)》虽然论文看了很多,但书还是更系统方便。期望有人用得上。...

发表于 05-04 14:34 744次 阅读
吴福朝的《计算机视觉中的数学方法》

咦!?怎么没有专门的计算机硬件设计的板块和cpu设计的板块?

我对计算机硬件和编程很有兴趣,但是没有发现有关设计cpu和计算机硬件的板块。 ...

发表于 02-21 12:24 885次 阅读
咦!?怎么没有专门的计算机硬件设计的板块和cpu设计的板块?

手机充电器的核心电源芯片

互联网的时代,人们每天接触最多的是手机,我们拿手机联系家人与客户,也不用像以前那样用两腿与客户联系了,用手机就能搞...

发表于 06-27 14:33 1866次 阅读
手机充电器的核心电源芯片

华容道

三个月之前写了一个华容道的游戏界面,本想写一个可以自动为曹操找到出口的一个算法,但由于水平有限未能实现,但现在把我一半的...

发表于 06-24 18:49 1205次 阅读
华容道