深度学习算法联合综述

　　1. 深度学习的发展历史

　　第一阶段：从BP神经网络算法的出现（1970-1980）到2006年这几十年的时间里；由于ＢＰ神经网络算法的出现，神经网络的训练成为现实［3］。由于这段时间神经网络模型出现了许多问题，而被学术界和主流的计算机视觉所诟病，只有为数不多的科学家仍不懈地坚持。出现的问题如下所示：

　　1） 数据难以挖掘。由于缺乏大量有必备的数据，有监督训练深度神经网络的方法没有充足的数据样本以至于拟合不了复杂网络模型的参数，极易出现拟合过度的现象，对比随机森林、支持向量机［4］等当时比较流行的浅层学习方法，BP神经网络不能有效地解决当前的困境，因而没有被广泛应用。

　　2） 局部最优缺陷。在进行深度神经网络训练时，由于存在各种极值问题，可能会陷入局部最优的陷阱，从而导致梯度下降法不能最大限度的发挥其作用。

　　3） 梯度弥散缺陷。当网络训练深度增加时，反向传播梯度幅度值将骤减，因此更新也会变得非常缓慢，样本也将不能实现有效学习［5］。我们通常把这种缺陷称为“梯度弥散”，“梯度弥散”是使深度学习发展缓慢的关键因素。

　　4） 硬件难以支持。深度神经网络的训练对计算机硬件要求很高，除此之外还有反向传播过程以及大量样本数据的学习［6］。他们要求计算机要有足够大的内存和主频。而后随着计算机内存容量的扩大，还有GPU并行计算发展，深度学习越来越贴近现实［7］。

　　5） 浅层学习的作用凸显。由于多层感知机算法、支持向量机、随机森林等浅层学习算法地迅速发展［8］，而且在社会生活中发挥着明显的作用，使深度神经网络逐渐淡出人们的视野。

　　第二阶段：从2006年到2012年，深度学习发展迅猛，这个阶段是主要以无监督深度学习的研究阶段。2006年，无监督深度置信网络训练方法首先由深度学习创始人Hinton提出，并以此拉开了深度学习学习热潮、以至于人工智能发展热潮的序幕［9］；

　　第三阶段：从2012年至今，深度学习被广泛应用于社会各个领域，其突出表

　　现在人工智能的推广。2012年，在Hinton的带领下，其团队创建的Alexnet模型在ImageNet大赛中获得骄人的成绩，模型的准确率无与伦比，计算机领域大师们的目光都聚焦在这场大赛上［10］。随后深度学习的发展浪潮一发不可收。当前各个互联网公司都蜂拥挤入对深度学习研究的行列之中，其中最具代表性企业如：百度、微软、谷歌，他们在翻译、图像检索、语音识别等领域都使用了深度学习，并因此收效显著。2012年6月，谷歌Google Brain计划被曝光，Google Brain计划项目由世界计算机系统顶尖专家 Jeff Dean 和来自斯坦福大学机器学习的教授 AndrewNg一起负责，该项目是为了训练一种被称作“深度神经网络”（Deep Neural Networks，DNN）机器学习的模型，他们利用16000个CPU Core并行计算的平台开展该项目，并因此在图像识别和语音识别等人工智能领域获得了辉煌的［11］。2013年1月，百度研究院被高调宣布创立，而百度研究院中居于首位的是深度学习研究所（Idl，Institute Of Deep Learning）［12］。