深度学习的起源与先行者

在二十世纪五十年代就存在深度学习的概念了。麦肯锡全球研究院发文简要回顾了深度学习是如何从概念发展为现实的，而使之实现的关键人物又是谁。

文章表示，要书写深度学习的完整历史还为时过早，有些细节尚存在争议，但是我们已经能追寻其公认的起源概貌，虽然还不完整，也能确定一些先驱者了。沃伦·麦卡洛克（WarrenMcCulloch）和沃尔特·皮茨（Walter Pitts）就名列其中。他们早在1943年就提出了人工神经元，这是大脑中“神经网络”的计算模型。还有美国斯坦福大学（Stanford University）的伯纳德·威德罗（BernardWidrow）和泰德·霍夫（Ted Hoff），他们在二十世纪五十年代末期开发了一种神经网络应用，降低电话线中的噪音。

同一时期，美国心理学家弗兰克·罗森布拉特（Frank Rosenblatt）引入了“感知器”这种设备的概念，模拟大脑的神经结构，并展现出学习的能力。后来，美国麻省理工学院（MIT）的马文·明斯基（Marvin Minsky）和西摩·帕普特（SeymourPapert）在其1969年出版的书《感知器》中，用数学的方法展示了感知器只能进行很基础的任务，所以这项研究暂停。他们的书还讨论了训练多层神经网络的难点。

1986年，加拿大多伦多大学（University of Toronto）的杰弗里·辛顿（Geoffrey Hinton）与同事大卫·鲁姆哈特（DavidRumelhart）和罗纳德·威廉姆斯（Ronald Williams）发表了目前很著名的反向传播训练算法，解决了这一训练难题，但有些业内人士指出芬兰数学家赛普·林纳因马（SeppoLinnainmaa）早在二十世纪六十年代就已经发明了反向传播。美国纽约大学（New York University）的杨立昆（Yann LeCun）率先将神经网络应用于图像识别任务，他在1998年发表的文章中定义了卷积神经网络，这种神经网络模拟人类的视觉皮层。同期，约翰·霍普菲尔德（JohnHopfield）推广了“霍普菲尔德”网络，这是首个循环神经网络。1997年，尔根·施米德休伯（JürgenSchmidhuber）和赛普·霍克赖特（Sepp Hochreiter）进一步扩展了该网络，他们引入了长短期记忆模型（long-short termmemory， LSTM），极大地提高了循环神经网络的效率和实用性。2012年，辛顿和他的学生在著名的 ImageNet 竞赛中取得了突出的结果，彰显了深度学习的强大。该竞赛以李飞飞等人整理的数据集为基础。与此同时，杰弗里·迪恩（JeffDean）和吴恩达（Andrew Ng）正在谷歌大脑（Google Brain）进行大规模图像识别方面的突破性工作。

深度学习也增强了强化学习这一已存在的领域，理查德·萨顿（Richard Sutton）就是其中一位顶尖的研究人员，他牵头让谷歌DeepMind开发的系统取得了多次棋类比赛的胜利。2014年，伊恩·古德费洛（IanGoodfellow）发表了一篇关于生成式对抗网络的文章，这种网络与强化学习已成为了该领域近期多个研究的焦点。

人工智能（AI）能力的持续进步让斯坦福大学启动了“人工智能百年研究”（One Hundred Year Study on Artificial Intelligence）项目。该项目由微软研究院院长埃里克·霍维茨（EricHorvitz）发起，是基于他和微软研究院的同事所进行的长期研究。过去几年里，众多研究先驱的研究结果和指导让我们受益良多。