神经网络技术解析：手写数字识别项目解读

手写数字识别是很多人入门神经网络时用来练手的一个项目，但就是这么简单的一个项目，最近在reddit上又火了一把，因为在MIT计算机科学和人工智能实验室，有人挖到了一个「祖师爷」级别的视频……

这段视频录制于1993年，主人公是图灵奖得主YannLeCun（杨立昆）。彼时LeCun才32岁，刚刚进入贝尔实验室工作，而视频里机器学习识别的第一段数字201-949-4038，是LeCun在贝尔实验室里的电话号码。从这段视频中我们可以看到，LeCun在90年代初创造的文本识别系统已经达到了惊人的速度和准确率，这在当时的条件下是非常难能可贵的。

这段视频由贝尔实验室自适应系统研究部门主任LarryJackel拍摄（Larry当时是LeCun的boss，现任英伟达自动驾驶顾问）。视频中出镜的还有实验室负责人RichHoward（Larry的boss）和研究工程师DonnieHenderson。YannLeCun本人表示：「DonnieHenderson将整个演示系统整合在了一起……整套系统在算力为20MFLOPS的DSP版上运行。」

几位工程师在视频中洋溢的笑容也颇具感染力。

LeCun表示，1993年的文字识别系统已经用上了卷积神经网络（CNN），自己在这套系统中编写了一种网络数据结构的编译器，并生成了可编译的C语言代码，在源代码中以权重和网表（netlist）代表文字。这段视频的惊艳之处还在于，它比经典手写数字数据集MNIST的问世还要早6年。

其实，早在1989年，LeCun就已经发表了「将反向传播用于手写邮政编码识别」的相关研究，而且已经在美国的邮政系统中成功应用。随后，这一系统的应用范围扩展至银行支票。90年代末期，该系统已经处理了美国10％-20％的支票识别。

1999年，LeCun等人联合发表了「MNIST」手写数字数据集。这一数据集包含数万个样本，被称为「计算机视觉领域的helloworld数据集」、「机器学习界的果蝇」，如今已经作为基准被使用了二十余年。

在看了这段视频之后，有研究者感叹，「不要再抱怨GPU算力不够了」。

深度学习先驱YannLeCun说起YannLeCun，熟悉人工智能领域的人肯定不会陌生，YannLeCun现在是纽约大学教授、美国工程院院士、Facebook副总裁和首席AI科学家。在深度学习还未流行的20世纪八九十年代，LeCun与另两位先驱者YoshuaBengio、GeoffreyHinton一道探索了深度学习领域的概念基础，并通过实验向人们展示了新方法的前景。此外，他们还贡献了一系列工程进展，展示了深度神经网络的实用优势。虽然在二十世纪八十年代，研究者就开始试用人工神经网络帮助计算机识别模式、模拟人类智能，但直到二十一世纪的前几年，这种方式仍未获得广泛认同，LeCun等研究者试图重燃AI社区对神经网络兴趣的努力曾经一直被人们质疑，但如今他们的想法带来了重大的技术进步，他们的方法也已成为该领域的主导范式。自2012年以来，深度学习方法促进计算机视觉、语音识别、自然语言处理和机器人技术等应用领域取得极大突破。在2019年，美国计算机协会ACM公布了上一年度的图灵奖，YoshuaBengio、GeoffreyHinton和YannLeCun三位深度学习巨头同时获奖。

从左至右：YoshuaBengio、GeoffreyHinton、YannLeCun。ACM表示，YannLeCun主要作出了三大贡献：

• 提出卷积神经网络
• 改进反向传播算法
• 拓宽神经网络的视角

20世纪80年代后期，LeCun就职于多伦多大学和贝尔实验室，也是在这一时期，他利用手写数字图像训练了第一个卷积神经网络系统。如今，卷积神经网络已成为计算机视觉、语音识别、语音合成、图像合成和自然语言处理领域的行业标准。卷积神经网络有着广泛的应用，如自动驾驶、医学图像分析、语音助手和信息过滤等。这可不是搞定MNIST那么简单与我们通常为MINIST数据集构建文字识别系统不同，YannLeCun在1993年展示的技术可是用摄像头直接拍摄的，还需要搞定文字缩放、位置等问题，后来也确实在邮政系统里获得了应用。如此看来在当年就能实现这样的效果确实不容易，更何况在20世纪90年代，研究者们是没有TensorFlow可用的，全靠C语言手写，这个问题求解的非机器学习部分与其说是困难，不如说是繁琐。在社交网络中，人们对LeCun展示的算法除了感兴趣，还有赞誉和膜拜，有人说道：「这并不是说他们在1993年就解决了MNIST上的问题，比那还要更进一步。」在深度学习被GPU带动开展大规模应用以前，人工智能算法其实已经实现了相当的聪明程度。在1993年的文字识别之后，昨天，人们又挖出了LeCun参与的另一项研究：人脸检测。

在2003年，一个视频展示了RitaOsadchy、MattMiller以及YannLeCun等人在NEC实验室的研究，使用卷积神经网络进行人脸检测研究。虽然只是人脸检测而不是人脸识别，但这种技术的意义不言而喻，如今自动驾驶汽车上的障碍物检测方法使用的就是和它相同的技术。在推特上，LeCun也点赞了这段视频。

看来，如今我们在机器学习领域广泛使用的方法，早在几十年前就已完成了整体架构。不过与此同时，也有网友发出了直击灵魂的提问：「既然LeCun在1993年就可以让AI这样识别文字了，为啥直到今天大多数网站仍然认为文字验证码是识别机器人的好办法？」
编辑：hfy