3个方法教AI学会遗忘

人工智能学家 2018-06-13 09:43 次阅读

大部分人不会喜欢遗忘的感觉。回到家顺手把钥匙丢在一个角落就再也想不起来放在哪儿了,街角偶遇一个同事却怎么拍脑袋也叫不出他的名字……我们害怕遗忘,讨厌遗忘。

然而,生而为人,健忘其实是种关键能力。对于人类而言,遗忘绝不仅仅是“想不起来”,而是一个帮助大脑吸收新信息并锻炼有效决策的积极过程。现在,数据科学家们正在尝试应用神经科学原理来改进机器学习,并且坚信人类大脑能够解锁图灵完备的人工智能。

人脑为什么需要遗忘

我们的大脑被普遍认作为信息过滤器。先放入一大堆乱七八糟的数据,筛选有用的信息,然后清理任何不相关的细节,用以陈述故事或作出决策。清除没用的细节是为了给新数据腾出储存空间,类似在计算机上运行磁盘清理。

用神经生物学的术语来说,遗忘发生于神经元之间的突触连接减弱或者消失之时,同时随着新神经元的发育,他们又会重新连接海马回路,覆盖现有记忆。

对于人类来说,遗忘有两个好处:

通过减少过时信息对我们决策的影响来增强灵活性

防止过度拟合过去的特定事件和促进概括能力

为了有效地适应环境,人类需要有策略性遗忘的能力。

计算机也需要遗忘?

计算机的遗忘与人类的不同,这是人工智能面临的一大挑战。深度神经网络在完成机器学习任务方面非常成功,但它们的遗忘方式也与我们不一样。

举一个简单的例子,如果你教一个讲英语的孩子学习西班牙语,这个孩子会在学习过程中应用英语学习的技巧,比如名词、动词动态、句子建立方法等。同时他会忘记那些不相关的部分,比如口音、嘟囔、语调等。如此,这个孩子可以在策略性遗忘的同时逐渐学习和建立新的思维方式。

相比之下,如果你已经训练了一个神经网络去学习英语,那么它的参数则已经适应了英语问题的解法。此时你要教它学习西班牙语,它就会生成新的适应系统并覆盖以前为学习英语所获得的知识,删除所有内容并重新开始。这被称作“灾难性遗忘”,并被认为是“神经网络的一个根本局限”。

虽然这还是一个新领域,最近科学家们已经在探索克服这种限制的潜在理论,并取得了长足的进步。

3个方法教AI学会遗忘

长短期记忆网络(LSTM)

LSTM是一种循环神经网络,它使用特定的学习机制来决定在任意一个节点哪些信息需要记住,哪些需要更新,哪些需要关注。

LSTM工作机制如何?一个简单的解释是拿电影来做类比:假设一个计算机正在尝试通过分析先前的场景来预测电影中接下来会发生的事。一个场景是一个女人拿着一把刀,计算机会猜测她是一个厨师还是凶手呢?另一个场景中,一个女人和一个男人在金色拱门下吃寿司:计算机会猜他们是在日本还是麦当劳呢?或者其实他们是在圣路易斯?

大拱门是美国圣路易斯的标志性建筑

LSTM通过以下3步提升神经网络:

遗忘/记忆

“当场景结束,模型应该忘记当前场景的位置,所处时间,并重置任何特定场景的信息;然而,如果场景中的一个角色死亡了,机器则应该继续记住他不再活着的事实。因此,我们希望机器能学习掌握一个相互独立的遗忘/记忆机制,这样当新信息进来时,它知道什么观念该保留什么该丢弃。”

——Edwin Chen

保存

当模型看到一张新图像,它需要了解这个图像是否有什么信息值得被使用和保存。如果一个女人在某个场景中路过广告牌,机器应该记住这个广告牌还是将其视作噪声数据忽略掉呢?

划重点

我们可能需要记住电影中的这个女人是个母亲这一信息点,因为我们稍后会看见她的孩子们,但是这个信息在她不出现的场景里可能并不重要,所以在那些场景里我们不需要重点关注。同样,并非所有存储在神经网络的长期记忆中的内容都是立即相关的,所以LSTM所做的就是在安全保存所有信息备用的同时,帮助决定哪一部分在哪一时刻被重点关注。

弹性权重固化(EWC)

EWC是由谷歌旗下DeepMind的研究人员于2017年3月创建的一种算法,旨在模拟一种被称为突触整合的神经科学过程。在突触整合过程中,我们的大脑评估一项任务,计算许多用于执行任务的神经元的重要性,同时权衡哪些神经元对正确执行任务更为重要。

这些关键的神经元被编译为重要的,并且在随后的任务中相对不可能被覆盖。同样,在神经网络中,多个连接(如神经元)被用于执行任务。EWC将一些连接编译为至关重要的,从而保护他们不被覆盖/遗忘。

在下面的图表中,你可以看到研究人员将EWC应用于Atari游戏时发生了什么。蓝线表示标准的深度学习过程,红线及棕线则由EWC提供以显示改进后的结果:

瓶颈理论

瓶颈理论由耶路撒冷希伯来大学的计算机科学家和神经科学家Naftali Tishby在2017年秋提出。这个构想是,网络摆脱了嘈杂的无关细节的输入数据,就好比用瓶颈将信息挤压,只保留与基本概念最相关的特征。

Tishby解释说,神经网络经历了两个阶段的学习——拟合与压缩。在拟合过程中,网络标记其训练数据;而在更漫长的压缩过程中,它“丢弃关于数据的信息,只跟踪最强大的特征”,也即是那些最能帮助它泛化的特征。通过这种方式,压缩成为策略性遗忘的一种方式,掌控这一瓶颈也可能成为AI研究人员用于构建未来更强大神经网络的新目标和体系的一个工具。

正如Tishby所说:“遗忘才是学习过程中最重要的一部分。”

人类大脑和遗忘的过程中,有可能藏着通往强AI的密码。但科学家们仍在上下求索。

热门推荐

原文标题:教机器遗忘或许比学习更重要:让AI健忘的三种方式

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
分享:

评论

相关推荐

谷歌AI预测死亡?这个新工具你想不想要?

谷歌旗下的Medical Brian团队开发了一种新的人工智能算法,可以帮助医院预测病人的死亡时间,....

的头像 高工智能未来 发表于 06-21 17:33 275次 阅读
谷歌AI预测死亡?这个新工具你想不想要?

谷歌之后,微软也被指“AI作恶”

自从特朗普的“零容忍”政策实施以来,所有从南部边境进入的成年非法移民都被美国移民海关执法局(ICE)....

的头像 高工智能未来 发表于 06-21 17:30 222次 阅读
谷歌之后,微软也被指“AI作恶”

为何人工智能人才如此稀缺?人才紧缺成为行业现状

顶级人才有了,基层人才又是如何培养起来的呢?如果单靠高校培养,时间上会有延迟,所以目前业内的基本情况....

的头像 机器人博览 发表于 06-21 15:16 186次 阅读
为何人工智能人才如此稀缺?人才紧缺成为行业现状

健康医疗大数据时代下,AI医疗辅助诊断将首先迎来商业化

我国健康医疗大数据已进入了初步利好阶段,国家作为政策引导方,已出台了50余条“纲要”或“意见”,可....

发表于 06-21 14:16 84次 阅读
健康医疗大数据时代下,AI医疗辅助诊断将首先迎来商业化

耐能CEO谈AI新创之路:“99死1生”

除了自身经历“杂”,耐能的合作伙伴的组成也很多元,举凡阿里巴巴、百度、腾讯这些互联网公司,也有系统厂....

的头像 DIGITIMES 发表于 06-21 14:14 147次 阅读
耐能CEO谈AI新创之路:“99死1生”

AI医学影像市场竞争激烈,第三方影像中心得到大力发展

“我国影像科医生目前存在几十万的缺口,而人工智能医学影像可以赋能医生,减少漏诊和误诊,其市场潜力巨....

发表于 06-21 12:38 143次 阅读
AI医学影像市场竞争激烈,第三方影像中心得到大力发展

传统零售团队在AI面前节节败退

在自动化面前 ,亚马逊传统的零售团队与新兴的市场团队相比节节败退,因为后者打造的自动化平台能够让任何....

的头像 智能制造 发表于 06-21 10:49 265次 阅读
传统零售团队在AI面前节节败退

人工智能的大趋势:已经进入高中课堂!

教材共分9个章节,以基础普及性的知识为主,分别介绍了图片识别、声音识别、视频识别、计算机写作和深度学....

发表于 06-21 09:44 42次 阅读
人工智能的大趋势:已经进入高中课堂!

互联网的后真相时代下,医疗体系发展还是离不开AI?

互联网出现以后,虽然它方便了人们的生活,改变了人类社会结构,但是后来大家逐步发现,海量的信息使得每....

发表于 06-21 09:41 177次 阅读
互联网的后真相时代下,医疗体系发展还是离不开AI?

“人工智能+”带来了不一样的生活

新闻问答机器人“端端”,在两会期间成功为中国日报网的融媒体报道提供服务,别看“端端”年纪小,但小脑袋....

发表于 06-21 09:32 121次 阅读
“人工智能+”带来了不一样的生活

雷声大,雨点小?人工智能遭遇商业落地之痛

腾讯公司副总裁、AI Lab负责人姚星认为,目前对于实际应用场景来说,人工智能只是辅助手段,而不是决....

发表于 06-21 09:17 15次 阅读
雷声大,雨点小?人工智能遭遇商业落地之痛

为未来做准备,人工智能已经进入高等教育

目前,开设人工智能学院已成高校中的一股热潮,仅在今年5月,就有天津大学、南开大学、南京大学、吉林大学....

发表于 06-21 09:15 41次 阅读
为未来做准备,人工智能已经进入高等教育

机器学习成就了互联网搜索

当你打开互联网搜索引擎,输入关键词寻找并得到想要的链接时,“机器学习”已经贯穿整个过程:搜索到的内容....

发表于 06-21 09:09 19次 阅读
机器学习成就了互联网搜索

要点新闻:特斯拉内部故意破坏影响生产 谷歌开发AI新工具

电动车厂商特斯拉首席执行官伊隆-马斯克近日在一封发送给全体员工的内部信中称,特斯拉内部有员工故意搞破....

的头像 电子发烧友网工程师 发表于 06-21 08:11 270次 阅读
要点新闻:特斯拉内部故意破坏影响生产  谷歌开发AI新工具

关于CES2018的十大看点

从 2015 年开始,每年 6 月份,上海新国际博览中心都会迎来 CES Asia 展会。和往届一样....

的头像 39度创意研究所 发表于 06-20 17:49 316次 阅读
关于CES2018的十大看点

订购库存和定价都用上了AI,亚马逊不少员工离岗

长期以来亚马逊公司一直使用机器人帮助人们在仓库搬运商品。而现在,自动化也在改变着亚马逊白领层的工作。

的头像 天津机器人 发表于 06-20 15:05 436次 阅读
订购库存和定价都用上了AI,亚马逊不少员工离岗

AI的暴力检测是什么?还存在什么问题?

“暴力检测”成为了当下的一个热门。在人群中实时检测“暴力行为”成为了现实,如果你想打架,最好先看看A....

的头像 天津机器人 发表于 06-20 14:47 329次 阅读
AI的暴力检测是什么?还存在什么问题?

世界杯赛场引入“黑科技”,未来AI将可能会取代裁判

VAR技术又名视频助理裁判技术,即通过视频助理裁判员和配套装备、流程、规范等在内的一整套辅助判罚系统....

发表于 06-20 11:50 114次 阅读
世界杯赛场引入“黑科技”,未来AI将可能会取代裁判

零度重回无人机市场 打造复合翼无人机

再来看看今天的新品零度智控的ZT-3V,垂直起降的固定翼无人机又称复合翼无人机,早已不是什么新鲜事物....

的头像 无人机网 发表于 06-20 11:17 386次 阅读
零度重回无人机市场 打造复合翼无人机

四年造芯,他颠覆传统ISP架构,以成像引擎技术打造机器之眼

眼擎科技发布全球首款成像引擎芯片eyemoreX42,专注于解决机器视觉在复杂光线下的前端成像,同年....

的头像 章鹰 发表于 06-20 10:22 386次 阅读
四年造芯,他颠覆传统ISP架构,以成像引擎技术打造机器之眼

三星AI起步晚如何追赶?欲存储器依赖症加速AI进程

三星在半导体市场的地位举足轻重,尤其是存储器更是独霸一方,但是这也导致三星的业务对于存储器的依赖过于....

的头像 肖青梅 发表于 06-20 09:54 226次 阅读
三星AI起步晚如何追赶?欲存储器依赖症加速AI进程

AI+康复医疗:“家庭康复”是成败的关键

我国当前康复医学的发展仅仅满足了我国康复的小部分需求,仍有大量康复需求人群未被满足。预计,2022....

发表于 06-19 18:10 185次 阅读
AI+康复医疗:“家庭康复”是成败的关键

电信联通发起AI终端研究项目立项,推动AI终端的标准国际化

中国联通联合中国电信在GSMA TSG终端工作组第32次会议上,发起AI终端研究项目立项(A New....

的头像 中国3G 发表于 06-19 17:22 619次 阅读
电信联通发起AI终端研究项目立项,推动AI终端的标准国际化

海信智慧家居AI+信果正式发布,突破智能家居发展的瓶颈

以“相信改变,畅享未来”为主题的2018海信智慧战略发布会上,海信智慧家居AI+信果正式对外发布。作....

的头像 砺石商业评论 发表于 06-19 15:07 744次 阅读
海信智慧家居AI+信果正式发布,突破智能家居发展的瓶颈

中国无人艇在未来海上军事行动中大显身手的潜力

水面无人艇主要用于执行危险以及不适于有人船只执行的任务,一旦配备先进的控制系统、传感器系统、通信系统....

的头像 新智元 发表于 06-19 14:09 256次 阅读
中国无人艇在未来海上军事行动中大显身手的潜力

AI之冬到底是远在天边还是触手可及

比如客观来看,反深度学习思潮已非一日之寒。各种关于深度学习的争论,以及对其泡沫的怀疑,在近半年间尘嚣....

发表于 06-19 09:15 87次 阅读
AI之冬到底是远在天边还是触手可及

百度AI大巴深圳来袭_感受AI生活的便利神奇

Hello AI科技联展,人工智能时代,未来已来。6月8日,由CEEC、百度、创意银行携手举办的He....

发表于 06-19 07:55 66次 阅读
百度AI大巴深圳来袭_感受AI生活的便利神奇

细节性功能的提升,这样AI技术的旗舰一加6你买吗?

毫无意外,全面屏过后 AI 迅速成了一众手机厂商的主打热词。它被应用到手机中的相机、人脸识别等功能,....

的头像 电子发烧友网工程师 发表于 06-17 22:36 1739次 阅读
细节性功能的提升,这样AI技术的旗舰一加6你买吗?

天数智芯研发:技术创新永无止境_让AI变得更加简单

近年来,在大数据、云计算等技术升级的共同推动下,人工智能技术及应用取得了蓬勃发展。如今,继“互联网+....

的头像 电子发烧友网工程师 发表于 06-17 22:27 1802次 阅读
天数智芯研发:技术创新永无止境_让AI变得更加简单

真能“穿墙识人”,用AI教会Wi-Fi“穿墙透视”

MIT计算机与人工智能实验室的研究人员开发了一种基于Wi-Fi的人体姿态估计系统,用AI教会Wi-F....

的头像 新智元 发表于 06-17 17:46 311次 阅读
真能“穿墙识人”,用AI教会Wi-Fi“穿墙透视”

20年后的你长什么样?GAN来预测

北京航空航天大学和密歇根州立大学的研究人员设计了一个AI系统,采用生成对抗网络(GAN),可以根据原....

的头像 新智元 发表于 06-15 17:16 2833次 阅读
20年后的你长什么样?GAN来预测

机器和人类将继续合作的四个理由

AI文化的转变是一个循序渐进的工作,但有四个主要原因,解释了为什么机器和人类将继续合作。

的头像 全球技术地图 发表于 06-15 15:13 1121次 阅读
机器和人类将继续合作的四个理由

AI算力6年增长30万倍,软硬件能力增长破除深度学习“寒冬论”

国内AutoML领域创业公司智铀科技发布了自动化机器学习产品“小智”,据公开数据显示,这是国内首款可....

的头像 新智元 发表于 06-15 15:07 1196次 阅读
AI算力6年增长30万倍,软硬件能力增长破除深度学习“寒冬论”

恩智浦推出基于机器学习开发环境的解决方案

恩智浦的机器学习方案支持可扩展处理解决方案,同时兼顾成本和最终用户体验需求。

的头像 人间烟火123 发表于 06-15 14:14 1329次 阅读
恩智浦推出基于机器学习开发环境的解决方案

国内高校首次规模招收AI专业本科生,考生们考虑吗?

高考结束了,十年寒窗苦读,终于可以放松一下了,可是,你想多了,妈妈喊你回来填志愿了。接下来各地的高考....

发表于 06-15 11:17 142次 阅读
国内高校首次规模招收AI专业本科生,考生们考虑吗?

张忠谋:3纳米制程两年内研发成功,2纳米制程将于2025面世

台积电创办人张忠谋6月14日表示,3纳米制程约在二年内开发成功,尽管面临“摩尔定律”失效的挑战,2纳....

的头像 章鹰 发表于 06-15 10:16 695次 阅读
张忠谋:3纳米制程两年内研发成功,2纳米制程将于2025面世

人类对人工智能十大误解

人工智能将创造出创造财富的新方法,同时解放出人类去做其他的事情。人工智能的进步将引领其它领域的进步,....

的头像 机器人博览 发表于 06-15 09:40 369次 阅读
人类对人工智能十大误解

DM365 IPNC通过IE修改时间后,重启后就没视频了这是什么情况?

发表于 06-15 02:40 60次 阅读
DM365 IPNC通过IE修改时间后,重启后就没视频了这是什么情况?

机器学习可能面临的一些攻击行为

对抗输入(Adversarial inputs):这是经过精心设计过的输入,其目的就是为了迷惑分类器....

的头像 论智 发表于 06-14 15:55 497次 阅读
机器学习可能面临的一些攻击行为

英伟达新开AI研究实验室,显卡之王出手必定不凡

以显卡起家的英伟达在如今的AI领域有着天然的优势,因此在人工智能方面英伟达可以说是一骑绝尘。近日,英....

发表于 06-14 15:13 64次 阅读
英伟达新开AI研究实验室,显卡之王出手必定不凡

HUAWEI P20:在麒麟970的基础上,AI技能满点

等待了一年多,HUAWEI P20系列终于来了。相比去年2月底巴展上推出的P10系列,P20晚了一....

发表于 06-14 14:07 129次 阅读
HUAWEI P20:在麒麟970的基础上,AI技能满点

英特尔新AI芯性能飙升3-4倍 还称威力没完全释放

在英特尔,实干永远比空谈更重要。在英特尔首届AI开发者大会上,由Rao率队带领,英特尔人工智能业务相....

发表于 06-14 09:40 108次 阅读
英特尔新AI芯性能飙升3-4倍 还称威力没完全释放

工业控制新方式以AI编写CNC车床程序

CNC车床主要是将实心金属雕刻成零件,这些金属可以应用于许多装置,包括成为Macbook的机身、汽车....

发表于 06-14 08:51 112次 阅读
工业控制新方式以AI编写CNC车床程序

详细了解商汤与高校协同创新推进AI+教育领域的发展规划和实践举措

教育部《教育信息化2.0行动计划》明确提出:推动人工智能在教学、管理等方面的全流程应用。以教育信息化....

的头像 商汤科技 发表于 06-13 16:30 608次 阅读
详细了解商汤与高校协同创新推进AI+教育领域的发展规划和实践举措

数字自我概念正在形成,3D感测应用潜力无穷

手机利用3D感测所设计出的人脸辨识,现在是作为手机解锁与在线付费的身份验证之用,而除了人脸形状,3D....

的头像 物联网技术 发表于 06-13 16:00 412次 阅读
数字自我概念正在形成,3D感测应用潜力无穷

人工智能领域的群雄逐鹿,美国的反应?

美国想一直保持人工智能领域的领导地位,成为人工智能全球标准的制定者,成为人工智能领域全球思想的领导者....

的头像 全球技术地图 发表于 06-13 14:52 707次 阅读
人工智能领域的群雄逐鹿,美国的反应?

新飞成立60周年的今天,新飞电器破产拍卖

智能经济时代,所有的企业寻找的生存途径都是重资产向轻资产的转移。把重资产、重资金、重管理、重平台、轻....

的头像 AI聂潜 发表于 06-13 11:04 486次 阅读
新飞成立60周年的今天,新飞电器破产拍卖

构建AI生态,高通真“憋”急了,看国内厂商如何顺势而上?

近日,高通与Brain Corp公司一同参观考察了南京开发区兴智科技园,并走访地平线、旷视科技、南邮....

的头像 电子发烧友网 发表于 06-13 09:16 1185次 阅读
构建AI生态,高通真“憋”急了,看国内厂商如何顺势而上?

Uber申请新专利:AI系统判断乘客是否醉酒

Uber这家出行公司可以说将出行做到了极致,还布局空中出。日前Uber申请新专利,自己研发的AI可以....

的头像 肖青梅 发表于 06-13 09:15 379次 阅读
Uber申请新专利:AI系统判断乘客是否醉酒

AI应用推动大数据融合创新生态圈建设

贵阳将全力打造人工智能创新创业生态,为项目产业化提供持续的、完善的配套服务,发挥国家大数据综合试验区....

的头像 人工智能和机器人研究院 发表于 06-13 09:13 509次 阅读
AI应用推动大数据融合创新生态圈建设

在网上搜的单片机简易计算机的c语言代码,编译总是失败。请问这是什么原因?

发表于 05-29 16:54 484次 阅读
在网上搜的单片机简易计算机的c语言代码,编译总是失败。请问这是什么原因?

吴福朝的《计算机视觉中的数学方法》

发表于 05-04 14:34 376次 阅读
吴福朝的《计算机视觉中的数学方法》

咦!?怎么没有专门的计算机硬件设计的板块和cpu设计的板块?

发表于 02-21 12:24 767次 阅读
咦!?怎么没有专门的计算机硬件设计的板块和cpu设计的板块?

手机充电器的核心电源芯片

发表于 06-27 14:33 1720次 阅读
手机充电器的核心电源芯片

华容道

发表于 06-24 18:49 1070次 阅读
华容道