在进一步拓展AI的应用领域时，研究人员遇到了“前学后忘”的问题

人工神经网络是用计算机来模拟人类大脑的AI技术，这一方法取得了很大的成功，谷歌设计的“阿尔法狗”已经在围棋运动上终结了人类的统治。而在进一步拓展AI的应用领域时，研究人员遇到了“前学后忘”的问题。MIT的专家发现，要解决这个问题，需要继续向人类的大脑学习。

对当前最先进的深度神经网络进行训练，可以很快的让AI学会处理许多复杂的任务。但是当人们给AI进行新任务的训练时，发现之前AI曾经处理过的任务被迅速地忘掉了——学的有多快，忘的就有多快，这种痛苦大概每个辅导过孩子功课的家长都能体会。而一般的解决方法是把之前对AI的训练存储起来，如果忘了就重新训练一下，但是这个办法会导致AI所占用的运算和存储资源暴增，开销巨大，是不可持续的。

麻省理工大学阿默斯特分校和贝勒医学院的人工智能（AI）专家在新发表的论文中，介绍了一种新的方法来解决AI的“灾难性遗忘”问题。他们是在分析和模仿人类学习和记忆机制的基础上，开发了新的方法来让AI能记住曾经学会的东西。

与AI神经网络不同的是，人类可以在早期课程的基础上不断累积信息，人类的大脑用来保护这些重要记忆的机制是再现，或者说是重放代表这些记忆的神经元活动模式。

作者之一的西格尔曼说，该团队的主要见解在于“认识到大脑中的重放不会存储数据”。相反，“大脑可以在更高、更抽象的层次上生成记忆的表示，而无需生成详细的记忆。” 受此启发，她和同事们创造了类似于大脑的人工回放，其中没有存储任何数据。相反，就像大脑一样，网络会生成以前所见事物的高级表示。 事实证明，“抽象的生成性大脑重放”非常有效，并且该团队表明重放仅几个生成的表示足以记住旧记忆，同时学习新记忆。生成性重放不仅可以防止灾难性的遗忘，而且还为系统学习提供了一种新的，更简化的路径，它还使系统可以将学习从一种情况推广到另一种情况。 例如，如果让具有生成性重放功能的AI首先学会将猫与狗分开，然后将熊与狐狸分开，那么它在没有经过专门培训的情况下也能区分猫和狐狸。而且，值得注意的是，系统学到的越多，学习新任务越好。 西格尔曼和同事认为：“我们提出了一种全新的，受大脑启发的重放变体，其中重放由网络自身的上下文调制反馈连接生成的内部或隐藏表示形式。我们的方法可实现最新的性能在不存储数据的情况下不断学习处理新任务，它为大脑中的抽象水平重放提供了一种新颖的模型。”

有个关于教育的调侃这样说：走出校门之后，大部分东西很快就忘记了，而最终留在大脑中的，就是你真正学到的东西。MIT开发的的这种机制像是让AI自己总结了自己的“学习经验”，并将其应用到新的任务当中。

参考文献：

1.https://techxplore.com/news/2020-09-brain-memory-abilities-ai-experts.html 2.https://www.nature.com/articles/s41467-020-17866-2

责任编辑：xj

原文标题：克服人工智能的“灾难性遗忘”

文章出处：【微信公众号：知社学术圈】欢迎添加关注！文章转载请注明出处。