3个方法教AI学会遗忘

人工智能学家 2018-06-13 09:43 次阅读

大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了,街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘,讨厌遗忘。

然而,生而为人,健忘其实是种关键能力。对于人类而言,遗忘绝不仅仅是“想不起来”,而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。现在,数据科学家们正在尝试应用神经科学原理来改进机器学习,并且坚信人类大脑能够解锁图灵完备的人工智能。

人脑为什么需要遗忘

我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据,筛选有用的信息,然后清理任何不相关的细节,用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间,类似在计算机上运行磁盘清理。

用神经生物学的术语来说,遗忘发生于神经元之间的突触连接减弱或者消失之时,同时随着新神经元的发育,他们又会重新连接海马回路,覆盖现有记忆。

对于人类来说,遗忘有两个好处:

通过减少过时信息对我们决策的影响来增强灵活性

防止过度拟合过去的特定事件和促进概括能力

为了有效地适应环境,人类需要有策略性遗忘的能力。

计算机也需要遗忘?

计算机的遗忘与人类的不同,这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功,但它们的遗忘方式也与我们不一样。

举一个简单的例子,如果你教一个讲英语的孩子学习西班牙语,这个孩子会在学习过程中应用英语学习的技巧,比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分,比如口音、嘟囔、语调等。如此,这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。

相比之下,如果你已经训练了一个神经网络去学习英语,那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语,它就会生成新的适应系统并覆盖以前为学习英语所获得的知识,删除所有内容并重新开始。这被称作“灾难性遗忘”,并被认为是“神经网络的一个根本局限”。

虽然这还是一个新领域,最近科学家们已经在探索克服这种限制的潜在理论,并取得了长足的进步。

3个方法教AI学会遗忘

长短期记忆网络(LSTM)

LSTM是一种循环神经网络,它使用特定的学习机制来决定在任意一个节点哪些信息需要记住,哪些需要更新,哪些需要关注。

LSTM工作机制如何?一个简单的解释是拿电影来做类比:假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀,计算机会猜测她是一个厨师还是凶手呢?另一个场景中,一个女人和一个男人在金色拱门下吃寿司:计算机会猜他们是在日本还是麦当劳呢?或者其实他们是在圣路易斯?

大拱门是美国圣路易斯的标志性建筑

LSTM通过以下3步提升神经网络:

遗忘/记忆

“当场景结束,模型应该忘记当前场景的位置,所处时间,并重置任何特定场景的信息;然而,如果场景中的一个角色死亡了,机器则应该继续记住他不再活着的事实。因此,我们希望机器能学习掌握一个相互独立的遗忘/记忆机制,这样当新信息进来时,它知道什么观念该保留什么该丢弃。”

——Edwin Chen

保存

当模型看到一张新图像,它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌,机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢?

划重点

我们可能需要记住电影中的这个女人是个母亲这一信息点,因为我们稍后会看见她的孩子们,但是这个信息在她不出现的场景里可能并不重要,所以在那些场景里我们不需要重点关注。同样,并非所有存储在神经网络的长期记忆中的内容都是立即相关的,所以LSTM所做的就是在安全保存所有信息备用的同时,帮助决定哪一部分在哪一时刻被重点关注。

弹性权重固化(EWC)

EWC是由谷歌旗下DeepMind的研究人员于2017年3月创建的一种算法,旨在模拟一种被称为突触整合的神经科学过程。在突触整合过程中,我们的大脑评估一项任务,计算许多用于执行任务的神经元的重要性,同时权衡哪些神经元对正确执行任务更为重要。

这些关键的神经元被编译为重要的,并且在随后的任务中相对不可能被覆盖。同样,在神经网络中,多个连接(如神经元)被用于执行任务。EWC将一些连接编译为至关重要的,从而保护他们不被覆盖/遗忘。

在下面的图表中,你可以看到研究人员将EWC应用于Atari游戏时发生了什么。蓝线表示标准的深度学习过程,红线及棕线则由EWC提供以显示改进后的结果:

瓶颈理论

瓶颈理论由耶路撒冷希伯来大学的计算机科学家和神经科学家Naftali Tishby在2017年秋提出。这个构想是,网络摆脱了嘈杂的无关细节的输入数据,就好比用瓶颈将信息挤压,只保留与基本概念最相关的特征。

Tishby解释说,神经网络经历了两个阶段的学习——拟合与压缩。在拟合过程中,网络标记其训练数据;而在更漫长的压缩过程中,它“丢弃关于数据的信息,只跟踪最强大的特征”,也即是那些最能帮助它泛化的特征。通过这种方式,压缩成为策略性遗忘的一种方式,掌控这一瓶颈也可能成为AI研究人员用于构建未来更强大神经网络的新目标和体系的一个工具。

正如Tishby所说:“遗忘才是学习过程中最重要的一部分。”

人类大脑和遗忘的过程中,有可能藏着通往强AI的密码。但科学家们仍在上下求索。

原文标题:教机器遗忘或许比学习更重要:让AI健忘的三种方式

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

莱迪思拓展其超低功耗sensAI技术特性,推动消费电子和工业IoT应用的上市

灵活的毫瓦FPGA解决方案实现高精度CNN;全新人员侦测和手势检测参考设计,性能与功耗平衡更优。

的头像 人间烟火123 发表于 10-16 12:56 86次 阅读
莱迪思拓展其超低功耗sensAI技术特性,推动消费电子和工业IoT应用的上市

Google研发出采用AI技术的癌症检测算法,可自动评估淋巴结活检

转移性肿瘤,指的是癌细胞脱离其原始组织,通过循环或淋巴系统穿过身体,并在身体的其他部位形成新的肿瘤,....

发表于 10-16 11:45 13次 阅读
Google研发出采用AI技术的癌症检测算法,可自动评估淋巴结活检

台湾ADR因美股暴跌全倒台积电大跌3.8%

纽约时间下午4:00收盘,标普500指数下跌3.3%,报2785.68点。道琼工业平均指数下跌3.2....

的头像 芯世相 发表于 10-16 10:41 158次 阅读
台湾ADR因美股暴跌全倒台积电大跌3.8%

随着人工智能技术的迅猛发展,AI芯片也备受追捧

人工智能技术迅猛发展的当下,要实现更高效、更人性化的AI,需要的不仅仅是架构、算法,还有帮助AI成型....

发表于 10-16 10:08 18次 阅读
随着人工智能技术的迅猛发展,AI芯片也备受追捧

AI正在成为下一代互联网公司的标配

但考察中美两国的互联网公司,真正的巨头往往拥有横跨20年的长寿基因,1995年的亚马逊,1998年的....

发表于 10-16 10:04 30次 阅读
AI正在成为下一代互联网公司的标配

AI颠覆了客服行业的发展,客服机器人开始真正变得智能

一直以来,客服作为连接企业和客户的桥梁,其重要性不言而喻。但是,在长期发展过程中,客服行业又存在诸多....

发表于 10-16 10:00 34次 阅读
AI颠覆了客服行业的发展,客服机器人开始真正变得智能

重磅!MIT宣布10亿美元投入计算机和AI领域 开启结构性变化

(本文来自华尔街日报,作者 叶桢,本文作为转载分享 ) 作为这项投资计划的核心,MIT将成立一个以捐....

发表于 10-16 09:57 57次 阅读
重磅!MIT宣布10亿美元投入计算机和AI领域 开启结构性变化

Instagram将通过AI筛查检测欺凌性言语,以对抗网络欺凌行为

随着智能手机等联网设备逐渐普遍化,网络已成为现代生活不可或缺的一部分,然而伴随而来的网络暴力更是四处....

发表于 10-16 09:56 19次 阅读
Instagram将通过AI筛查检测欺凌性言语,以对抗网络欺凌行为

AI慢慢的侵蚀了人类生活的方方面面

不可避免地,AI侵蚀了人类生活的方方面面,我们无法想象失去AI,生活会变成什么样。不断有言论叫嚣——....

发表于 10-16 09:50 57次 阅读
AI慢慢的侵蚀了人类生活的方方面面

利用AI筛选胚胎可达85%的准确率,能有效提升体外受精的成功率

据外媒报道,伦敦帝国理工学院和美国康奈尔大学的研发人员目前已经研发出了一种人工智能设备,该设备能够帮....

发表于 10-16 09:46 16次 阅读
利用AI筛选胚胎可达85%的准确率,能有效提升体外受精的成功率

国内外新老AI芯片势力百花齐放,我国能否和国外巨头一战?

随着人工智能、深度学习的春风吹遍世界各地,各类芯片的头衔都与AI密不可分。知名市场调研公司Repor....

发表于 10-16 09:36 18次 阅读
国内外新老AI芯片势力百花齐放,我国能否和国外巨头一战?

太空探索中的人工智能正在蓄势待发,使科学研究和探索更加高效

据报道,太空探索中的人工智能(AI)正在蓄势待发。在未来几年里,当我们前往彗星、卫星和行星,并探索在....

发表于 10-16 09:21 11次 阅读
太空探索中的人工智能正在蓄势待发,使科学研究和探索更加高效

亚马逊最新AI招聘引擎出现性别歧视?

亚马逊公司的机器学习专家发现了一个大问题:他们的新招聘引擎不太喜欢女性。

的头像 高工智能未来 发表于 10-15 17:44 454次 阅读
亚马逊最新AI招聘引擎出现性别歧视?

关于组态王与三菱PLC通讯的应用

三菱PLC FX系列可以通过自身的编程口和计算机通信,也可通过通信口和计算机通信。

的头像 工控云学堂 发表于 10-15 17:25 108次 阅读
关于组态王与三菱PLC通讯的应用

剖析华为的AI战略与人才发展观

“AI时代,人才在哪里,我们就该去哪里”。这是华为2018年全联接大会“AI时代人才发展观”论坛上专....

的头像 蓝血研究 发表于 10-15 16:41 346次 阅读
剖析华为的AI战略与人才发展观

华为战略布局AI,发布全栈全场景AI解决方案

作为国内最具技术实力的公司,在AI方面特别是芯片设计方面,华为的实力是毋庸置疑的。但我觉得在边缘或者....

的头像 电子产业分析 发表于 10-15 16:34 202次 阅读
华为战略布局AI,发布全栈全场景AI解决方案

三座大山压制下,AI医疗难以盈利?

如今,AI+医疗赛道上玩家众多,很多互联网巨头早已纷纷布局了AI医疗。譬如,腾讯推出了AI医疗产品“....

发表于 10-15 16:29 215次 阅读
三座大山压制下,AI医疗难以盈利?

厄米拉·马哈德夫:怎么知道量子计算机是否做了量子计算呢?

Mahadev现在是伯克利大学的博士后研究员。近日,她在计算机科学基金会的年度研讨会——理论计算机领....

的头像 人工智能学家 发表于 10-15 16:14 171次 阅读
厄米拉·马哈德夫:怎么知道量子计算机是否做了量子计算呢?

中控智慧构建AI综合安检解决方案

在全球性的安全事件层出不穷的影响下,各国政府正不断加强安全检查力度和检查范围,从而对新技术和新设备的....

的头像 安全自动化 发表于 10-15 15:17 307次 阅读
中控智慧构建AI综合安检解决方案

海信AI电视首次实现电视场景自动识别技术

依托电视场景自动识别技术,海信AI操作系统能根据声音识别用户的年龄、性别并以此推荐更适合的内容,更能....

的头像 高工智能未来 发表于 10-15 14:10 701次 阅读
海信AI电视首次实现电视场景自动识别技术

全球AI雇主Top20:每年人才花费6.5亿美元

根据毕马威会计师事务所撰写的一份报告,截至2016年,只有28家公司拥有超过十名深度学习专家。Bus....

的头像 章鹰 发表于 10-15 13:54 1002次 阅读
全球AI雇主Top20:每年人才花费6.5亿美元

云从科技携牵手金山云 共建国家级AI平台

双方通过将人工智能领域的成熟技术应用到解决方案中,打通人工智能技术的跨场景应用,让AI适用于所有行业....

的头像 高工智能未来 发表于 10-15 11:53 451次 阅读
云从科技携牵手金山云 共建国家级AI平台

华为发布7nm自研AI芯片:叫板英伟达和谷歌

经过多年自研投入和积累,华为自研的移动Soc麒麟系列芯片的综合性能已经跻身一线水准。而将AI作为未来....

的头像 罗欣 发表于 10-15 11:26 332次 阅读
华为发布7nm自研AI芯片:叫板英伟达和谷歌

英特尔发布全新视觉技术加速器解决方案 提升边缘设备深度学习和人工智能性能

英特尔发布了英特尔®视觉技术加速器设计产品系列,这一全新的产品系列主要针对既可以充当数据来源,又是实....

的头像 罗欣 发表于 10-15 11:23 178次 阅读
英特尔发布全新视觉技术加速器解决方案 提升边缘设备深度学习和人工智能性能

Streamr与区块链深度学习平台Daisy AI合作,共同促进区块链的深度学习

人工智能会有很大的潜力。Statista的报告提到,到2025年,人工智能将拥有898亿美元的巨大全....

发表于 10-15 11:07 22次 阅读
Streamr与区块链深度学习平台Daisy AI合作,共同促进区块链的深度学习

北京安防展即将举行,物联网促“泛安防时代”的来临

还有不到两周的时间,两年一届的中国国际社会公共安全产品博览会(以下简称北京安防展)就将在中国国际展览....

发表于 10-15 10:30 40次 阅读
北京安防展即将举行,物联网促“泛安防时代”的来临

换代升级成主流选择,海信AI电视引领新潮流

继十一黄金周在高端大屏领域取得火爆销售表现后,海信在10月11日举办了2018秋季产品品鉴会——广东....

发表于 10-15 09:50 46次 阅读
换代升级成主流选择,海信AI电视引领新潮流

什么是华为自己的AI方法论?

为期三天的2018华为全联接大会上,徐直军用一种别开生面的方式正式公布了华为的人工智能战略,并在三天....

发表于 10-15 09:14 35次 阅读
什么是华为自己的AI方法论?

机器人在医疗领域的15个重大进步,它们将重塑人类的生活

随着AI+医疗的进一步融合、深入,适用于细分医疗领域的AI辅助技术也在不断加强。服务机器人多个应用场....

发表于 10-15 08:59 47次 阅读
机器人在医疗领域的15个重大进步,它们将重塑人类的生活

人工智能技术将如何改变你的行业,你的企业?

“在座的每一位都要思考,我所处的行业是否会被人工智能技术改变,甚至颠覆。我们应如何以一种全新的模式,....

的头像 机器人博览 发表于 10-14 11:12 636次 阅读
人工智能技术将如何改变你的行业,你的企业?

华为的AI发展状况如何?华为AI战略生态与未来趋势分析

2018年9月30日,腾讯宣布公司架构调整,新成立了云与智慧产业事业群(CSIG),腾讯和华为在最近....

的头像 人工智能学家 发表于 10-14 10:54 1142次 阅读
华为的AI发展状况如何?华为AI战略生态与未来趋势分析

华为公布重要AI战略 五大方向不容忽视

2018年9月30日,腾讯宣布公司架构调整,新成立了云与智慧产业事业群(CSIG),腾讯和华为在最近....

的头像 人工智能学家 发表于 10-14 10:53 470次 阅读
华为公布重要AI战略 五大方向不容忽视

7个Python调试通过的代码详细资料分析

"Python的应用十分广泛,今天我们来分享7个Python实战项目代码,希望你有所收获。

的头像 马哥Linux运维 发表于 10-14 09:46 236次 阅读
7个Python调试通过的代码详细资料分析

2025年汽车AI市场或将增长到265亿美元

汽车行业是使用人工智能(AI)来模仿、增强和支持人类行为的前沿领域。利用先进的基于机器的精确定位系统....

发表于 10-14 09:25 132次 阅读
2025年汽车AI市场或将增长到265亿美元

药企已经无法离开人工智能,但AI想要牵手药企还需要跨越阻碍

AI在制药行业的应用被看作是人工智能企业落地的一大出口,药企也被认为是潜在的最大付费方。

发表于 10-13 10:16 870次 阅读
药企已经无法离开人工智能,但AI想要牵手药企还需要跨越阻碍

TTS和ASR的概念区别!TTS的评判标准

在用户预期不苛刻的场景(APP/硬件),能满足商业化需求,比如语音助手/滴滴/高德/智能音箱/机器人....

的头像 将门创投 发表于 10-13 09:52 338次 阅读
TTS和ASR的概念区别!TTS的评判标准

苹果与Dialog达成6亿美元交易 华为发布7nmAI芯片...

本周半导体行业仍然动荡不定,华为说到做到发布两款7nm工艺AI芯片昇腾910和昇腾310;苹果花6亿....

的头像 电子发烧友网工程师 发表于 10-13 09:16 745次 阅读
苹果与Dialog达成6亿美元交易 华为发布7nmAI芯片...

当前的AI还不擅长处理哪些种类的问题?

精灵宝可梦则是一个开放世界游戏,这意味着,任意给定时刻都有大量选择。简单的向上、向下、向左、向右无法....

的头像 论智 发表于 10-13 09:02 451次 阅读
当前的AI还不擅长处理哪些种类的问题?

波士顿动力机器人逆天

让我们一起与波士顿动力的Atlas玩跑酷!

的头像 电子发烧友网工程师 发表于 10-13 09:02 525次 阅读
波士顿动力机器人逆天

中国AI故事:好戏正接连上演

据中国货币网日前发布报告显示,中国有14家估值达到或超过10亿美元的人工智能公司,依序包括大疆(15....

的头像 DIGITIMES 发表于 10-12 17:13 1015次 阅读
中国AI故事:好戏正接连上演

平安好医生联手中新药业,在AI+家庭医生等方面展开深入研究

昨日,天津中新药业集团与平安好医生达成战略合作,这次合作的目的是想通过双方共同整合各自的优势资源,建....

发表于 10-12 16:27 685次 阅读
平安好医生联手中新药业,在AI+家庭医生等方面展开深入研究

天地伟业一直引领安防行业化向纵深发展,不变初心!

8月29日,天地伟业技术有限公司在总部天津召开了主题为“星光看视界,AI见未来”的媒体发布会,隆重发....

发表于 10-12 16:12 337次 阅读
天地伟业一直引领安防行业化向纵深发展,不变初心!

ADC结果在计算机屏幕上

您好,我目前使用的SpkFLASH 2,在我的项目中,我使用ADC是在电脑屏幕上看到ADC的解决方案,而不仅仅是在外部LCD...

发表于 10-12 15:34 53次 阅读
ADC结果在计算机屏幕上

MIT开发AI系统以打击假新闻 日立推出新无人机平台解决方案

智能雷达传感解决方案提供商爱因斯坦在其超长距离无人机雷达系列中发布了两款新产品。超远程机载(ULAB....

的头像 机器人大讲堂 发表于 10-12 15:05 501次 阅读
MIT开发AI系统以打击假新闻 日立推出新无人机平台解决方案

深兰科技凭什么获得最具影响力人工智能研发企业奖?

据科技智库获悉,9月25日,GIEC2018第四届全球互联网经济大会在北京国际会议中心举行。作为全球....

的头像 AI机器人 发表于 10-12 14:57 222次 阅读
深兰科技凭什么获得最具影响力人工智能研发企业奖?

模拟AI对世界经济的影响 到2030年大约70%的公司将采用AI技术

差距扩大可能会在个体员工的层面上展开。对工作的需求可能会从重复性任务转向那些在社会和认知驱动下需要更....

的头像 AI人工智能D1net 发表于 10-12 14:56 605次 阅读
模拟AI对世界经济的影响 到2030年大约70%的公司将采用AI技术

华为发布全栈全场景AI解决方案 人工智能将开始占领芯片市场?

10月10 日举行的第三届HUAWEI CONNECT 2018(华为全联接大会),华为轮值董事长徐....

的头像 张康康 发表于 10-12 14:49 852次 阅读
华为发布全栈全场景AI解决方案 人工智能将开始占领芯片市场?

为了更懂人类,人工智能正在修炼的三大技术

人工智能自1956年Dartmouth学会上提出,在经历一个又一个寒冬之后,如今真正登上了人类舞台。....

的头像 张康康 发表于 10-12 14:49 583次 阅读
为了更懂人类,人工智能正在修炼的三大技术

Aibee推出旅游AI解决方案 印度欲与全球同步推出5G

继微软、谷歌之后,索尼成为第三家制定人工智能准则的公司。

的头像 高工智能未来 发表于 10-12 14:28 349次 阅读
Aibee推出旅游AI解决方案 印度欲与全球同步推出5G

AI工业机器人逐渐成为行业主流,市场迎来爆发期

随着国内工业化进程的加快,工业机器人市场正是蒸蒸日上。据相关统计数据显示,2013至2016年期间,....

发表于 10-12 14:06 140次 阅读
AI工业机器人逐渐成为行业主流,市场迎来爆发期

如何解决这个'英特尔Turbo Boost Max 3.0'启动烦恼?

我打破了全新的八核Cyber​​power PC。 从第一次启动时,每次计算机启动时,桌面上都会出现一个弹出窗口,显示“Intel Tu...

发表于 10-12 11:41 72次 阅读
如何解决这个'英特尔Turbo Boost Max 3.0'启动烦恼?

哈尔滨工业大学研制成功中国第一台模拟式电子计算机

人类在自然界斗争的过程中,不断总结和丰富着自己的知识。电子科学技术就是在生产斗争和科学实验中发展起来的。 1883 年美国发明...

发表于 10-12 10:55 255次 阅读
哈尔滨工业大学研制成功中国第一台模拟式电子计算机

如何在Vb.net中实现Keysight Connection Expert的重新扫描按钮

嗨,我只是想知道如何使用vb.net重新扫描Keysight Connection Expert中的乐器? 在运行我的应用程序时,它可以检测连接到我的...

发表于 10-09 14:51 21次 阅读
如何在Vb.net中实现Keysight Connection Expert的重新扫描按钮

如何将Pro许可证添加到另一台计算机?

我在工作中使用多台电脑。 一个在实验室,办公室,旅行笔记本电脑等。我只能在一台计算机上安装Pro软件许可证。 在许可证管理...

发表于 09-30 16:38 47次 阅读
如何将Pro许可证添加到另一台计算机?

微机继电保护的维护分析

为保证电气设备的安全运行,微机继电保护测试仪必须满足选择性、快速性、灵敏度和可靠性的四个基本要求。优化硬件设计、合理的制...

发表于 09-27 09:27 210次 阅读
微机继电保护的维护分析

Windows 10上的USB和STM32重置不能识别设备

你好!我在使用USB通讯端口和STM32时遇到问题。我用CubeMX将USB配置为CDC。当我第一次将固件上传到微型计算机时,...

发表于 09-20 09:49 67次 阅读
Windows 10上的USB和STM32重置不能识别设备

怎么将NTSC显示器输出连接到标准VGA计算机显示器?

有没有方便的方法将NTSC显示器输出连接到标准VGA计算机显示器? 将显示器放在更大的屏幕显示器上会很高兴。 以上来...

发表于 09-19 16:37 57次 阅读
怎么将NTSC显示器输出连接到标准VGA计算机显示器?

计算机系统电磁辐射骚扰限值和测量方法

计算机系统中含有丰富的电磁辐射源,产生的电磁辐射会对电磁环境造成污染,同时还会带来一系列的电磁兼容问题,包括会对人体产生...

发表于 09-19 14:38 453次 阅读
计算机系统电磁辐射骚扰限值和测量方法

升级计算机时如何充分利用计算机上的接口

    随着计算机性能的提升,我们如何在升级旧电脑的过程中充分利用界面?然后按照小编看看如何科学合理地升级计算机。...

发表于 09-18 15:34 170次 阅读
升级计算机时如何充分利用计算机上的接口