【四旋翼飞行器】76小时吃透四轴算法!史上最强软硬结合实战项目,👉戳此立抢👈

3个方法教AI学会遗忘

人工智能学家 2018-06-13 09:43 次阅读

大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了,街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘,讨厌遗忘。

然而,生而为人,健忘其实是种关键能力。对于人类而言,遗忘绝不仅仅是“想不起来”,而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。现在,数据科学家们正在尝试应用神经科学原理来改进机器学习,并且坚信人类大脑能够解锁图灵完备的人工智能。

人脑为什么需要遗忘

我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据,筛选有用的信息,然后清理任何不相关的细节,用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间,类似在计算机上运行磁盘清理。

用神经生物学的术语来说,遗忘发生于神经元之间的突触连接减弱或者消失之时,同时随着新神经元的发育,他们又会重新连接海马回路,覆盖现有记忆。

对于人类来说,遗忘有两个好处:

通过减少过时信息对我们决策的影响来增强灵活性

防止过度拟合过去的特定事件和促进概括能力

为了有效地适应环境,人类需要有策略性遗忘的能力。

计算机也需要遗忘?

计算机的遗忘与人类的不同,这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功,但它们的遗忘方式也与我们不一样。

举一个简单的例子,如果你教一个讲英语的孩子学习西班牙语,这个孩子会在学习过程中应用英语学习的技巧,比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分,比如口音、嘟囔、语调等。如此,这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。

相比之下,如果你已经训练了一个神经网络去学习英语,那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语,它就会生成新的适应系统并覆盖以前为学习英语所获得的知识,删除所有内容并重新开始。这被称作“灾难性遗忘”,并被认为是“神经网络的一个根本局限”。

虽然这还是一个新领域,最近科学家们已经在探索克服这种限制的潜在理论,并取得了长足的进步。

3个方法教AI学会遗忘

长短期记忆网络(LSTM)

LSTM是一种循环神经网络,它使用特定的学习机制来决定在任意一个节点哪些信息需要记住,哪些需要更新,哪些需要关注。

LSTM工作机制如何?一个简单的解释是拿电影来做类比:假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀,计算机会猜测她是一个厨师还是凶手呢?另一个场景中,一个女人和一个男人在金色拱门下吃寿司:计算机会猜他们是在日本还是麦当劳呢?或者其实他们是在圣路易斯?

大拱门是美国圣路易斯的标志性建筑

LSTM通过以下3步提升神经网络:

遗忘/记忆

“当场景结束,模型应该忘记当前场景的位置,所处时间,并重置任何特定场景的信息;然而,如果场景中的一个角色死亡了,机器则应该继续记住他不再活着的事实。因此,我们希望机器能学习掌握一个相互独立的遗忘/记忆机制,这样当新信息进来时,它知道什么观念该保留什么该丢弃。”

——Edwin Chen

保存

当模型看到一张新图像,它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌,机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢?

划重点

我们可能需要记住电影中的这个女人是个母亲这一信息点,因为我们稍后会看见她的孩子们,但是这个信息在她不出现的场景里可能并不重要,所以在那些场景里我们不需要重点关注。同样,并非所有存储在神经网络的长期记忆中的内容都是立即相关的,所以LSTM所做的就是在安全保存所有信息备用的同时,帮助决定哪一部分在哪一时刻被重点关注。

弹性权重固化(EWC)

EWC是由谷歌旗下DeepMind的研究人员于2017年3月创建的一种算法,旨在模拟一种被称为突触整合的神经科学过程。在突触整合过程中,我们的大脑评估一项任务,计算许多用于执行任务的神经元的重要性,同时权衡哪些神经元对正确执行任务更为重要。

这些关键的神经元被编译为重要的,并且在随后的任务中相对不可能被覆盖。同样,在神经网络中,多个连接(如神经元)被用于执行任务。EWC将一些连接编译为至关重要的,从而保护他们不被覆盖/遗忘。

在下面的图表中,你可以看到研究人员将EWC应用于Atari游戏时发生了什么。蓝线表示标准的深度学习过程,红线及棕线则由EWC提供以显示改进后的结果:

瓶颈理论

瓶颈理论由耶路撒冷希伯来大学的计算机科学家和神经科学家Naftali Tishby在2017年秋提出。这个构想是,网络摆脱了嘈杂的无关细节的输入数据,就好比用瓶颈将信息挤压,只保留与基本概念最相关的特征。

Tishby解释说,神经网络经历了两个阶段的学习——拟合与压缩。在拟合过程中,网络标记其训练数据;而在更漫长的压缩过程中,它“丢弃关于数据的信息,只跟踪最强大的特征”,也即是那些最能帮助它泛化的特征。通过这种方式,压缩成为策略性遗忘的一种方式,掌控这一瓶颈也可能成为AI研究人员用于构建未来更强大神经网络的新目标和体系的一个工具。

正如Tishby所说:“遗忘才是学习过程中最重要的一部分。”

人类大脑和遗忘的过程中,有可能藏着通往强AI的密码。但科学家们仍在上下求索。

原文标题:教机器遗忘或许比学习更重要:让AI健忘的三种方式

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

通用电气如何基于飞机制造业的经济模型使用AI?

Colin Parris 表示,飞机制造业的价值取决于两点:飞机航线的价值和乘客的价值。具体而言,对....
的头像 电子发烧友网工程师 发表于 01-21 15:27 49次 阅读
通用电气如何基于飞机制造业的经济模型使用AI?

智慧安防之所以在落地困难 主要是由于新技术以及行业尚未发展成熟

2017年以来,人工智能技术已成为名副其实的显学,购物网站上的AI客服、微博上的广告推送、手机里的S....
发表于 01-21 14:30 13次 阅读
智慧安防之所以在落地困难 主要是由于新技术以及行业尚未发展成熟

英伟达入局AI医疗 医疗将成为人工智能最大的应用场景之一

亿欧大健康1月19日消息,今日,NVIDIA在北京举行了英伟达( NVIDIA) AI 医疗媒体专题....
发表于 01-21 14:15 11次 阅读
英伟达入局AI医疗 医疗将成为人工智能最大的应用场景之一

关于生物识别的研报整理

目前AI最先成熟落地的一些领域主要也与生物识别相关,比如人脸识别、语音识别等。而在芯智讯看来,未来不....
的头像 芯智讯 发表于 01-21 14:11 66次 阅读
关于生物识别的研报整理

中国AI医疗应聚焦五大趋势 助力实现AI在医疗健康领域的深度发展

AI读片快准稳,微缩机器人“助手”深入人体直捣病灶——人工智能与医疗领域的结合,会不会将更多疾病预防....
发表于 01-21 14:08 7次 阅读
中国AI医疗应聚焦五大趋势 助力实现AI在医疗健康领域的深度发展

一套能够进行心理健康以及信用分析的系统

本文通过从医院收集真实患者数据以及从微博等社交媒体收集患者数据,首次创建了公开的自闭症和抑郁症人脸数....
的头像 人工智能 发表于 01-21 13:43 56次 阅读
一套能够进行心理健康以及信用分析的系统

2019年,中国AI产业的发展将逐步走向成熟

针对人工智能和实体经济的加速融合,上海发布了人工智能十大应用场景的“需求单”,囊括了“AI”+安防、....
的头像 通信信号处理研究所 发表于 01-21 11:38 152次 阅读
2019年,中国AI产业的发展将逐步走向成熟

算法、平台、场景三连击,商汤如何渗透智慧城市

人工智能是智慧城市的大脑,要想大脑聪明,获取海量的信息以训练优化人工智能的算法必不可少。虽然音频、文....
的头像 独爱72H 发表于 01-21 11:34 149次 阅读
算法、平台、场景三连击,商汤如何渗透智慧城市

智能时代 搜狗主张用AI分身改变客观世界

搜狗是一家已经从成立了十多年的公司,我们从2004年发布搜索产品,也经历了很多的突破.每一个突破背后....
发表于 01-21 10:52 8次 阅读
智能时代 搜狗主张用AI分身改变客观世界

人工智能卡位战,哪些企业会赢?

一年一度的全球电子行业标杆意义盛会——国际消费电子展(CES)于美国时间1月8日在拉斯维加斯开幕。此....
的头像 独爱72H 发表于 01-21 10:40 154次 阅读
人工智能卡位战,哪些企业会赢?

搜狗王小川:AI的意义在于将人类从低级活动中解放出来

今天的人工智能,与人类不是取代的关系,我们叫数据智能,它只能对以前他学过的东西进行重复的一种表现。1....
发表于 01-21 10:15 61次 阅读
搜狗王小川:AI的意义在于将人类从低级活动中解放出来

几款智能AI音箱浅析 智能音箱市场竞争非常激烈

要说近几年什么智能设备最火爆,智能音箱绝对算得上是头号玩家之一,在国内外各大科技厂商几乎都已经入局的....
发表于 01-21 10:11 38次 阅读
几款智能AI音箱浅析 智能音箱市场竞争非常激烈

英国研究人员使用人工智能检测卵巢癌患者活检样本中的微小异常细胞簇

英国的研究人员使用人工智能(AI)工具来检测卵巢癌患者活检样本中的微小异常细胞簇 ——这些细胞的存在....
发表于 01-21 10:07 16次 阅读
英国研究人员使用人工智能检测卵巢癌患者活检样本中的微小异常细胞簇

百度大脑连抛13项AI硬件新品 IoT时代端上AI将爆发

各大科技巨头都在布局AI,跟所有技术一样,越到后面就越需要深耕细作,从百度大脑日前发布多项AI硬件新....
发表于 01-21 09:23 19次 阅读
百度大脑连抛13项AI硬件新品 IoT时代端上AI将爆发

AI浪潮之下 底层人力岗位受冲击

国际研究顾问组织Gartner指出,未来几年内,虽然有180万个职位被AI取代,不过同时AI也将创造....
发表于 01-21 09:14 15次 阅读
AI浪潮之下 底层人力岗位受冲击

低功耗FPGA芯片用于人工智能领域的测试

Efinix提供了一种名为“Quantum”的解决方案,它将FPGA和电路可重新编程的芯片结合在一起....
的头像 ssdfans 发表于 01-21 09:04 221次 阅读
低功耗FPGA芯片用于人工智能领域的测试

2018年末在对话智能领域,各方面究竟发展的如何了

Sophia经常参加各种会、“发表演讲”、“接受采访”,比如去联合国对话,表现出来非常类似人类的言谈....
的头像 电子发烧友网工程师 发表于 01-20 09:28 1132次 阅读
2018年末在对话智能领域,各方面究竟发展的如何了

计算机辅助EMC诊断简化电子产品EMC测试

在电子产品的EMC(电磁兼容)达标流程中,减少循环次数或简化EMC测试方法,可以有效降低EMC达标费....
发表于 01-20 09:23 40次 阅读
计算机辅助EMC诊断简化电子产品EMC测试

李彦宏发布内部信并首次公布了24字百度愿景

人工智能的风云激荡将百度再度推到了潮头,2017 年 5 月 4 日我们对外发布了百度的新使命:用科....
的头像 电子发烧友网工程师 发表于 01-20 09:12 294次 阅读
李彦宏发布内部信并首次公布了24字百度愿景

向来提倡open的谷歌,现在也玩儿“自闭”?

一篇数据集论文对于复现结果非常重要,如果存在阻碍数据集共享的法律问题,那么发表私人数据集论文就好了(....
的头像 新智元 发表于 01-20 08:56 216次 阅读
向来提倡open的谷歌,现在也玩儿“自闭”?

智能安防场景化或将成为AI下一股驱动力

近几年,随着人工智能在基础能力上不断“跑高分”,许多垂直应用场景也开始落地AI技术。对于人工智能的行....
发表于 01-20 07:01 27次 阅读
 智能安防场景化或将成为AI下一股驱动力

我叫AI防火墙

我们奋战在安全攻防的第一线,阻挡威胁的入侵。
的头像 华为网络 发表于 01-19 11:44 224次 阅读
我叫AI防火墙

三菱电机发布配备了瞬间冷冻AI功能的MX系列智能冰箱

现如今全世界都在推广智能家居,作为大家电之一的冰箱自然也不会例外。可如果光是冰箱门上装了块屏幕,放放....
发表于 01-19 11:15 51次 阅读
三菱电机发布配备了瞬间冷冻AI功能的MX系列智能冰箱

任正非谈华为创新观念:不主张盲目“自主创新”

时隔五年,华为创始人任正非再次接受国内媒体采访,主动对外揭开“面纱”,系统阐述华为目前的问题和如何应....
的头像 电子发烧友网工程师 发表于 01-19 10:18 543次 阅读
任正非谈华为创新观念:不主张盲目“自主创新”

AI涉足减肥领域 可AI+减肥并不是万能的

近年来,随着我们生活水平的提高和日常习惯的改变,肥胖渐渐成为了令无数人困扰的难题。为了实现减肥的目标....
发表于 01-19 10:03 72次 阅读
AI涉足减肥领域 可AI+减肥并不是万能的

目前家庭安防系统中的AI应用主要有两类

在物联网技术与家庭安全系统之间的融合中,出现了一批更智能的入侵报警设备,为家庭入侵检测提供更高的准确....
发表于 01-19 09:59 58次 阅读
目前家庭安防系统中的AI应用主要有两类

人工智能和机器学习正在逐步接管日常任务和高级任务

没有一个IT领导者或IT专家团队能对数据中心的重要任务施加精确(甚至更精细)的控制——精确到每一秒。....
发表于 01-19 09:52 283次 阅读
人工智能和机器学习正在逐步接管日常任务和高级任务

扶摇医疗!中国乘AI之风直上世界第二!

《IDC专业化医疗AI平台白皮书》聚焦中国医疗AI平台,实地调查多家中国医疗机构,从底层芯片到医疗机....
的头像 电子发烧友网工程师 发表于 01-19 09:49 490次 阅读
扶摇医疗!中国乘AI之风直上世界第二!

CBS权威新闻栏目60分钟「AI谕言」,许多人对AI有着错误的理解

通用人工智能在未来20年内不会出现,甚至可能永远都不会出现?
的头像 李开复 发表于 01-19 09:49 317次 阅读
CBS权威新闻栏目60分钟「AI谕言」,许多人对AI有着错误的理解

郑建华院士:解读人工智能与信息安全

人工智能领域涉及的安全问题较多,如国家安全、社会安全、人的安全,还包括一些伦理问题和隐私问题。
的头像 物联网之声 发表于 01-19 09:27 270次 阅读
郑建华院士:解读人工智能与信息安全

AI视角下的中国城市交通报告

Apollo联合百度地图发布《年度中国城市交通报告》,AI视角下的交通大数据是什么样的?
的头像 Apollo开发者社区 发表于 01-19 09:26 351次 阅读
AI视角下的中国城市交通报告

借用AI优势 语音交互开启“百度式”新体验

1月16日,百度输入法搞了一场名为“AI·新输入 全感官输入2.0”的发布会,发布了其宣称为“国内首....
发表于 01-18 16:51 126次 阅读
借用AI优势 语音交互开启“百度式”新体验

Yelp最近又火了一把,基于一次失败的“被删库”体验

这个更新说明意味着 Yelp应用最近的更新重点为去除各种漏洞、程序缺陷和改善应用功能,或许是由于程序....
的头像 电子发烧友网工程师 发表于 01-18 16:25 247次 阅读
Yelp最近又火了一把,基于一次失败的“被删库”体验

梦想中的机场正向你走来 开启出行体验新篇章

随着科技的迅猛发展,当今社会商业环境变化之快前所未有。数字化转型已成为拉动经济增长的重要引擎和产业转....
的头像 哈佛商业评论 发表于 01-18 16:09 274次 阅读
梦想中的机场正向你走来 开启出行体验新篇章

AI和VR融合在5G时代将变革社交方式

虚拟现实并结合人工智能等技术,使得VR虚拟世界显得更真实,而5G技术应用则成为关键。
的头像 传感物联网 发表于 01-18 15:42 284次 阅读
AI和VR融合在5G时代将变革社交方式

看看孙正义到底想要如何一步步地实现自己的愿景

诺依曼一直是那种在他有三栋楼的时候就想拥有100栋建筑的企业家,但有了孙正义的支持,WeWork的扩....
的头像 电子发烧友网工程师 发表于 01-18 15:21 603次 阅读
看看孙正义到底想要如何一步步地实现自己的愿景

权威发布2019年物联网十大趋势

2018年,对于我国物联网产业,有中美贸易战引发的思考,也有5G、AI等技术推进的展望。告别2018....
的头像 厦门市物联网行业协会 发表于 01-18 14:40 355次 阅读
权威发布2019年物联网十大趋势

如何使用融合型深度学习进行滚动轴承亚健康识别算法

抢险救灾行动的有效规划和调度在挽救人民群众生命和减轻财产损失中起着重要作用,利用数学建模方法和计算机....
发表于 01-18 14:32 78次 阅读
如何使用融合型深度学习进行滚动轴承亚健康识别算法

赛灵思完成了从FPGA器件到平台ACAP的蝶变 即将开启其新的征程

灵思首席执行官Victor Peng表示,得益于5G网络、数据中心及汽车等业务需求带动FPGA的出货....
发表于 01-18 14:06 305次 阅读
赛灵思完成了从FPGA器件到平台ACAP的蝶变 即将开启其新的征程

人工智能领域的发展历史总共经历了三次大浪潮

人工智能也被称为AI,是将新型机器赋予机器思维,代替人脑进行各种计算、决策和分析,有效解放人们双手的....
发表于 01-18 10:59 88次 阅读
人工智能领域的发展历史总共经历了三次大浪潮

从“芯”出发,AI先行,华为云如何博得下一个云计算十年?

Cloud 2.0 时代,行业创新从数字化向智能化转型,中大型政企客户的数字化转型是从非关键应用延伸....
的头像 电子发烧友网工程师 发表于 01-18 10:48 475次 阅读
从“芯”出发,AI先行,华为云如何博得下一个云计算十年?

随着人工智能的增长 未来将会催生约13%的新工作机会

人生已经如此艰难,偏偏AI(人工智能)还来抢饭碗。如今,已经有不少岗位逐渐被AI取代。不过莫慌,今天....
发表于 01-18 10:46 28次 阅读
随着人工智能的增长 未来将会催生约13%的新工作机会

如果AI是你的完美恋人,你会爱上他吗

但是,如果生活中突然出现了这样一个人。 他学习了全世界的情话只为讲给你一个人听;
发表于 01-18 10:27 31次 阅读
如果AI是你的完美恋人,你会爱上他吗

菜鸟客服背后的诱惑究竟是真人还是机器人?

很多 AI 语音助手都只能回答特定场景下的问题。“你有没有男朋友?”这种开放域问题,一般情况下对于限....
的头像 电子发烧友网工程师 发表于 01-18 10:26 497次 阅读
菜鸟客服背后的诱惑究竟是真人还是机器人?

2018人工智能产业创新评估白皮书:中国的AI产业创新发展现状

从中美两国对比来看,美国四项使能技术的理论研究和应用研究均大幅领先于中国。理论研究方面,中美两国在文....
的头像 新智元 发表于 01-18 09:56 432次 阅读
2018人工智能产业创新评估白皮书:中国的AI产业创新发展现状

被AI程序面试是一种怎样的体验?

在HireVue考察的25000个数据点中,大多数雇主都不会对这些数据点进行全面分析。“最终结果中包....
的头像 新智元 发表于 01-18 09:54 258次 阅读
被AI程序面试是一种怎样的体验?

南昌市AI+VR创新基地启动 为南昌VR产业的发展注入强劲动力

2016年,南昌率先提出打造世界级虚拟现实产业中心,打响了全球首个城市级VR产业基地建设的“第一枪”....
发表于 01-18 09:27 106次 阅读
南昌市AI+VR创新基地启动 为南昌VR产业的发展注入强劲动力

安永发布报告:只有5%的公司可以熟练运用AI

1月17日,安永发布题为《机器人技术与智能自动化——人类与机器力量的结合》的报告。这份报告着重分析了....
发表于 01-18 09:20 58次 阅读
安永发布报告:只有5%的公司可以熟练运用AI

英特尔将与行业伙伴携手推动5G和AI的深度融合迎接智联时代

在硬件领域,其发展主要涵盖设备和芯片两方面。贝尔定律指出,计算机每10年产生新类别,其设备或用户数增....
发表于 01-18 09:18 28次 阅读
英特尔将与行业伙伴携手推动5G和AI的深度融合迎接智联时代

请问计算机专业想学vxwork相关的开发需要具备那些基础?

计算机专业想学vxwork相关的开发需要具备那些基础...
发表于 01-17 22:13 34次 阅读
请问计算机专业想学vxwork相关的开发需要具备那些基础?

请问什么是面向对象?

什么是面向对象?
发表于 01-16 18:19 22次 阅读
请问什么是面向对象?

FX2LP HID kb导致计算机在启动期间卡住

你好: 我们的客户报告了一个与USB相关的问题。 我们的产品使用了CyPress FX2 CY7C68013(USB FIFO)与DSP...
发表于 12-24 16:24 105次 阅读
FX2LP HID kb导致计算机在启动期间卡住

计算机cmd常用命令集合之详细攻略

cmd:计算机cmd常用命令集合之详细攻略
发表于 12-24 11:50 82次 阅读
计算机cmd常用命令集合之详细攻略

设备是否可以在多台计算机上锁定许可?

你好, 我刚刚购买了VC707开发套件,随附了一张凭证,上面写着“设备锁定许可证”。 我的实验室里有两台电脑。 我可以使用凭...
发表于 12-21 11:02 51次 阅读
设备是否可以在多台计算机上锁定许可?

读心准确率已经高达95%,脑电波技术怎么办到的

华盛顿大学公布了一项研究,研究人员称开发出了一种新的计算机程序能实时解码人们的思想,其判断实时基于大脑中的电信号,并在显...
发表于 12-18 22:07 130次 阅读
读心准确率已经高达95%,脑电波技术怎么办到的

基于打印机接口的语音型抢答器

很多单位在开展文娱活动时有抢答一项,需要用到抢答器,普通抢答器使用通用集成电路制成,价格高、显示方式简单,性价比较差。而...
发表于 12-18 10:15 110次 阅读
基于打印机接口的语音型抢答器

51单片机4*4矩形按键和LCD1602组成简易计算机

#include #include #include #define uchar  unsigned char   #define uint  unsigned int ...
发表于 12-04 15:54 235次 阅读
51单片机4*4矩形按键和LCD1602组成简易计算机

计算机中丢失dll文件修复方法

DLL文件是Windows系统中的动态链接文件,我们在运行程序时都必须链接到dll文件,如果缺少了则无法正常运行,相信大家都会遇...
发表于 11-28 17:06 475次 阅读
计算机中丢失dll文件修复方法

尝试在Windows 10上安装安全更新的重复失败

我有一台HP 8460p Elitebook,我正在尝试进行全新安装。 安装的大多数必需更新没有任何问题,除非两个重复失败,即使更新历史...
发表于 11-28 14:52 104次 阅读
尝试在Windows 10上安装安全更新的重复失败