一个会说唱的AI在学习了二人转后会忘记如何rap吗？

如果AI可以终身学习会怎样？科学家们已经开发出一种新的深度神经网络框架，允许人工智能系统更好地学习新的任务，同时更少地忘记他们在以前的任务中所学的东西。

美国陆军的一个项目为深度神经网络开发了一个新的框架，它允许人工智能系统更好地学习新任务，同时更少地忘记他们在以前任务中学到的东西。

由军方资助的北卡罗莱纳州立大学的研究人员也证明了使用框架学习新的任务可以使人工智能更好地执行以前的任务，这一现象称为反向转移。

“陆军需要准备好在世界任何地方作战，因此它的智能系统也需要准备好，” 陆军研究办公室智能系统（美国陆军作战能力开发司令部陆军研究实验室的一个组成部分）的项目经理Mary Anne Fields博士说道：“我们希望陆军的智能系统能在世界各地的战场上执行任务时不断获得新的技能，而不要忘记已经训练掌握的技能。例如，在进行城市操作时，轮式机器人可能会学习在人口密集的城市该如何行进，但它仍然需要在以前遇到的环境（如森林）中高效工作。”

研究团队提出了一种新的持续学习框架，称为“学习成长”（Learn to Grow），它将网络结构学习和模型参数学习分离开来。在实验测试中，它优于以往的持续学习方法。

“深度神经网络人工智能系统是为学习狭小范围任务而设计的，”该论文的合著者、北卡罗来纳州立大学博士生李锡来（音译）说道。因此，在学习新任务时，可能会发生以下几种情况之一：

◆系统在学习新任务时会忘记旧任务，这称为灾难性遗忘。

◆系统会忘记一些它们知道的关于旧任务的事情，同时不学习去做新的任务。

◆系统可以在添加新任务的同时将旧任务解决——这限制了改进并很快导致人工智能系统太大而无法有效运行。

持续学习，又称终身学习或学着学习（learning-to-learn）正试图解决这个问题。”

要理解“学会成长”框架，请将深层神经网络想成布满多层的管道。原始数据进入管道的顶部，任务输出从底部出来。管道中的每一个“层”都是一个计算，它操纵数据以帮助网络完成其任务，例如识别数字图像中的对象。管道中的层有多种排列方式，它们对应于网络的不同“架构”。

当要求一个深层神经网络学习一个新的任务时，“学习成长”框架首先通过搜索执行一个称为显式神经架构优化的操作。这意味着，当网络到达其系统中的每一层时，它可以决定执行以下四项操作之一：

◆跳过该层

◆用和以前的任务相同的方式使用该层

◆在该层上附加一个轻量级适配器，这会稍微修改该层

◆创建一个全新的层

这种体系结构优化有效地布局了完成新任务所需的最佳拓扑（topology）或者一系列层。一旦完成，网络就使用新的拓扑结构来训练自己如何完成任务——就像其他任何深度学习人工智能系统一样。

“我们已经使用多个数据集进行了实验，我们发现，新任务与以前的任务越相似，现有层执行新任务的重叠程度就越高，” 李锡来说道：“更有趣的是，在经过优化或“学习”的拓扑结构下，接受过执行新任务培训的网络几乎不会忘记执行旧任务所需的内容，即使旧任务不相似。”

研究人员还进行了实验，将“学习成长”框架的学习新任务能力与其他几种持续学习方法进行比较，发现“学习成长”框架在完成新任务时具有更好的准确性。

为了测试在学习新任务时每个网络可能忘记了多少，研究人员随后测试了每个系统在执行旧任务时的准确性——而“学习成长”框架再次优于其他网络。

“在某些情况下，‘学习成长’框架实际上在执行旧任务方面做得更好，”Salesforce Research的研究主管、该论文的合著者之一熊才明（音译）说，“这被称为反向转移，当你发现学习一个新任务会使你更好地完成一个旧任务时就会发生这种情况。我们一直在人们身上看到这一点，但在人工智能上就很少见。”

菲尔兹说：“陆军的这项投资扩展了当前最先进的机器学习技术，这些技术将指导我们的陆军研究实验室研究人员开发机器人应用，如智能机动和学习识别新物体。”这项研究使人工智能更接近于为我们的作战人员提供可部署在战场上的有效无人系统。”

论文 《 学习成长：克服灾难性遗忘的持续结构学习框架》将于6月9日至15日在加利福尼亚长滩举行的第36届机器学习国际会议上发表。论文的共同主要作者包括数控州电气与计算机工程助理教授吴天福（音译）博士、北卡罗来纳州立大学博士生李锡来和Salesforce Research的周颖波。论文由Salesforce Research的Richard Socher和Caiming Xiong合著。

这项工作也得到了国家科学基金会的支持。李锡来在Salesforce AI Research做暑期实习生时完成了部分工作。