ACM“深度学习三巨头”访谈录

2018年图灵奖得主，“深度学习三巨头”Geoffrey Hinton, Yann LeCun和Yoshua Bengio早年也曾饱受嘲笑，但终于熬过寒冬。近日，ACM通讯对三人进行了专访。

虽然曾遭受怀疑甚至嘲笑，2018年图灵奖获得者Geoffrey Hinton, Yann LeCun和Yoshua Bengio在他们的研究生涯中不断发展人工神经网络，他们的研究成果如今已经成为从搜索到内容过滤等各个领域不可或缺的技术。

那么，如今炙手可热的深度学习和人工智能领域怎样了呢？ACM通讯采访了三位图灵奖获得者，分享了他们发现的令人兴奋的问题，以及仍然存在的挑战。

现在，关于人工智能的讨论远远比您刚开始职业生涯时要多——其中有些是充分了解的，有些则不然。您希望人们不要再问哪些问题？

Geoffrey Hinton

Geoffrey Hinton：“神经网络是不是仅仅是泡沫？”在过去，AI领域的人做出了很多承诺，但有时结果被证明仅仅是泡沫。但是，神经网络远远超出了他们的承诺。神经网络确实是有效的。而且，神经网络还能扩展。只要你给它提供更多的数据和更快的计算机，它就自动能变得更好，而不需要任何人为它编写更多的代码。

Yann LeCun：没错，深度学习的基本理念不会消失，但当人们问我，要让机器变得更智能，是不是只要简单地扩展现有的方法就可以了。这种问题仍然令人沮丧。我们需要新的模式。

Yoshua Bengio：目前的技术已经有多年的工业和科学应用。话虽如此，我们三人都是研究人员，我们总是迫不及待地想要更多，因为我们目前离人类水平的人工智能还很远，离理解智能的原理(不管是自然的还是人工的智能)都还很远。

哪些问题还讨论得不够呢？

Yoshua Bengio

Hinton：大脑是如何工作的？人们会讨论这个问题，但讨论的人还不够多。

Bengio：没错。遗憾的是，尽管深度学习从大脑和认知科学获得灵感，但如今许多做深度学习的工程师并不关心这些话题。这是有道理的，因为如果你是在工业上应用深度学习，大脑和认知并不重要。但就研究而言，我认为如果我们不能与那些试图了解大脑工作原理的人保持合作，那将是一个巨大的损失。

Yann LeCun

Hinton：也就是说，神经科学家现在正在认真研究这个问题。多年来，神经科学家认为，“人工神经网络与真实的大脑非常不同，它们不会告诉我们大脑是如何工作的。”现在，神经科学家们正在认真考虑像反向传播这样的现象在大脑中发生的可能性，这是一个非常令人兴奋的领域。

LeCun：目前，几乎所有关于人类和动物视觉的研究都使用卷积网络作为标准概念模型。直到最近，情况才有所改变。

Hinton：我认为这对社会科学也会产生巨大的影响，因为它会慢慢地改变我们对人的看法。我们过去把人看作理性的存在，而人的独特之处在于他们用推理来得出结论。现在，我们对人的本质有了更好的理解，认为人类基本上就是巨大的类比制造机器。他们非常缓慢地开发出这些表示，然后他们开发的表示决定了他们可以做出的类比的类型。当然，我们可以进行推理，没有推理就没有数学，但这不是我们思考的基本方式。

对于开拓性的研究人员来说，您似乎非常不愿意满足于现状。

Hinton：我认为发明了现在的标准技术的人有一些特别之处。它们并不是上帝赐予的，很可能也还有其他更好的技术。然而，当一个领域已经有了一种标准的工作方式时，新进入这个领域的人并不完全理解这种标准方式是多么武断。

Bengio：学生们有时谈论神经网络就好像他们在描述圣经一样。

LeCun：这造成了一代人的教条主义。不过尽管如此，一些最具创新性的想法很可能来自比我们年轻得多的人。

目前这个领域的进展速度十分惊人。如果你在二三十年前就预料到今天的情况，你会感到惊讶吗？

LeCun：让我感到惊讶的事情太多了。比如，我感到惊讶的是，深度学习革命来得如此之晚，但一旦革命开始，我也惊讶它的发展速度是如此之快。我本以为事情会更循序渐进，但在20世纪90年代中期至2000年代中期，人们放弃了整个神经网络的想法。我们有证据表明，神经网络在那之前也是有效的。但后来，一旦神经网络的demo变得无可争议，其发展就势不可挡了：首先是在语音识别领域，然后是图像识别，现在是自然语言理解。

Hinton：如果20年前有人对我说，可以把一种语言中的句子分割成小的单词片段，然后将这些片段输入给一个始于随机连接的神经网络，然后训练神经网络，神经网络能将这个句子翻译成另一种语言，而不需要任何语法或语义方面的只是——完全没有运用到语言学知识——并且翻译效果比任何其他方法都更好。我会很惊讶。虽然这种翻译并不完美，不如能说两种语言的人翻译得好，但已经越来越接近了。

LeCun：同样令人惊讶的是，这些技术在如此之多的行业中变得如此有用，而且发展速度极快。如果你现在把深度学习从谷歌或Facebook这两家公司中抽离出来，那么这两家公司都会崩溃；它们的业务完全是围绕着深度学习构建的。当年我加入Facebook时，有一件事让我感到惊讶，就是有一小群人使用卷积网络进行人脸识别。我对卷积网络的第一直觉是，它可能对物体分类这种识别有用：

Bengio：当我在攻读博士学位时，我一直在努力扩展这样一个想法，即神经网络不仅仅可以进行模式识别——将一个固定大小的向量作为输入并生成类别。但是直到最近我们的转化工作才突破了这个范围。正如Yann所说，创造新事物的能力确实具有革命性。所以有能力操纵任何类型的数据结构，而不仅仅是像素和向量。传统上，神经网络仅限于人类能够快速且无意识地完成的任务，比如识别物体和图像。现代神经网络在本质上与我们在20世纪80年代思考的东西不一样，它们能做的事情更接近我们推理和编程时做的事情。

Yoshua，尽管取得了这些进展，但您之前还是谈到让发展中国家更容易利用这一技术的紧迫性。

Bengio：我认为这一点很重要。我过去对政治问题没有太多的思考，但机器学习和人工智能已经走出大学校园，我认为现在我们有责任考虑这一点，并参与关于这些技术如何利用的社会和政治讨论。其中一个问题是，专有技术、财富和技术将在哪里集中？往往会集中在少数几个国家和地区、几个公司和一小部分人手中，我们要设法使这些技术更容易获取，让这些技术为更广泛的国家和地区的更多的人们带来更大的变化。

Hinton：Google已开源了其开发神经网络的主要软件TensorFlow，你还可以在云端使用专门的Google网络硬件。Google正努力使这种技术尽可能广泛地为更多的人所使用。

LeCun：我认为这是一个非常重要的问题。深度学习社群非常善于促进公开研究的理念，不仅是在学术领域，在学术会议在公开发表论文、评论和评注，而且在企业界，像Google和Facebook这样的公司也在将自己开发绝大部分软件进行开源，并为他人提供基于这些软件的工具。因此，任何人都可以在几天内再现其他人的研究成果。

这样，无论在任何研究领域，任何顶尖的研究团队都无法其他研究团队领先几个月。重要的是，整个研究领域的发展速度飞快。因为我们真正想要构建的是一种“虚拟助理”，它可以回答我们提出的任何问题，并帮助我们在日常生活中度过难关。目前我们缺乏构建这种虚拟助理的技术，而且没有掌握相关的基本科学原理。我们可以培养整个研究社群来解决这一问题，这对我们大家都有好处。