在谷歌大脑不能做真正的机器学习科学研究？

Twitter今天出现了一条惊爆tread：CMU助理教授Simon DeDeo炮轰谷歌大脑，认为他们没在做真正的科学，只是用强大的算力以及招揽到的众多优秀博士生，不断快速推出机器学习工程成果，而真正的知识还跟20年前一样！

你认为谷歌大脑和其他类似的企业AI研究院如何？

这只是再正常不过的一个问题，没想到竟然冒出了一条让人吃惊的回复。CMU的助理教授Simon DeDeo表示：在那里人们并没有做真正的科学！

好吧，事情是这个样子的，先来看这位Simon DeDeo的回复——之前的声明：

接下来我要说说对谷歌大脑和类似机构的看法。声明：这是我个人的意见，我不需要他们的资助，也没有通过讨好他们来成就我的职业生涯。

字里行间无不流露出对谷歌大脑等顶尖AI研究院的不屑与不满，基本可以想见他的看法整体走向将是什么。

下面这条可以认为是DeDeo的核心观点：企业“研究”是从商业立场出发的，无论管理流程如何。

Simon DeDeo其人

Simon DeDeo是CMU社会与决策科学（Social and Decision Sciences）助理教授，圣达菲研究所外部教授。他之前曾在印第安纳大学的复杂系统和认知科学项目中工作过。他还曾在东京大学宇宙物理与数学研究所和芝加哥大学卡夫利宇宙物理研究所获得博士后奖学金。

教育背景

博士：普林斯顿大学天体物理学

硕士：剑桥大学应用数学与理论物理

学士：哈佛大学天体物理学

在DeDeo的主页介绍上写着，他们的研究方向是：在社会思想实验室（Laboratory for Social Minds），我们进行实证研究，并建立历史和现代现象构建数学理论。我们的研究既包括数百年的人类文化发展，也有瞬息万变的现代等级制度。我们创建了关于政治秩序重大转变合成的深层次描述，目的是预测和理解我们整个物种的未来。

或许你认为以为从事天文学的博士对人工智能并无了解，因此DeDeo的话无关紧要，不过，天文学也是目前积极采用机器学习的基础学科之一。DeDeo在他的工作中也无可避免的会用到深度学习。此外，从2012年开始，深度学习的热潮兴起，几句席卷整个自然科学领域，从生物、化学到物理，越来越多的科学家都发现机器学习能够帮助乃至加速他们的发现。

而DeDeo，也不可避免的处于这场深度学习热潮中间，而且关联还不浅。

在谷歌你能接触到最尖端的机器学习，但成不了科学家，一切都是商业计划

DeDeo将他的抱怨连发了几十条Twitter，简直构成了一篇文章：

我在贝叶斯时代长大，见证了David Spergel和他的快乐科学家团队用一些简单的，从理论上推动的方程改变了我们对世界的看法。

当我出到校门外开始研究生活和思考系统时，这也是我的研究出发点。当然，2010年左右，深度学习革命变得不可忽视。

这是令人兴奋的事情。我们邀请学者参观访问，告诉我们关于决策树、随机森林，各种奇妙的事情。我也试着学习这些方法，但老实说，我们可以用简单的工具做很多事情，因此并没有把机器学习到成优先事项。

当我到IU时，我被聘为信息学部门的教授，IUsolCE（信息学也即未来的计算机科学，不再是简单的快速排序，而是弄清楚机器对人类生活的影响）。我当时在一个招聘委员会里，非常要招一个深度学习的人。

我带所有的候选人去吃早餐（我喜欢跳过会议和委员会，把时间花在研究生和本科生身上），然后弄清现在的深度学习。大多数候选人可能都没睡醒。

基本答案：我们所做的每一个性感的项目，从飞行四轴飞行器到在MNIST上再获得精度0.1％的提升，基本上就是一名研究生。

你计算出神经网络的拓扑结构，然后找到权重。怎么做？答案是：GSD，graduate student descent——开个玩笑。简而言之，没有一个好的答案，就是一个人坐在那里，不断调整参数。

机器学习是工程学的一项了不起的成就。但这不是科学。远远不是。我们如今做的只是1990年的东西，成倍放大的结果。它并没有给我们带来比20年前更多的见解。

是的，我也听说过“深度学习实现了renormalization group！”但如果你有一个在空间中组织的信息系统，那么神经元在空间上将信息组合起来真的很厉害吗？

我也被邀请参加Google Research或类似地方的会议。他们的安保像疯了一样，比对冲基金更糟糕。保安会跟着你去洗手间。

在谷歌大脑，每位级别相当于我的科学家，也即相当于一名初级教员，原本都应该说是处于知识边缘不断探索的人，都在管理一个由10名研究生组成的团队，在做着Graduate Student Descent。

谷歌可以击败堪萨斯大学，唯一的原因是他们每个研究人员可以雇用十倍以上的研究生。当然，不同之处在于，堪萨斯大学的研究生有机会做一些具有学术意义的事情。在Google Research却无法如此。

他们不知道自己在做什么。他们有人力将深度学习应用于任何事情，模拟薛定谔方程，药物设计，你能想到的一切。他们的主要目标是找到谷歌可以产生最大影响的科学领域。

我访问过50所大学。无论走到哪里，我都会遇到新的想法。但有一个例外：商业“研究”实验室。

如果你想构建能够监控人并且更快地向他们推销更多广告的机器，那就去这些实验室。如果你想找到一个工人阶级正在做的工作，然后对正在做这件事的男人或女人建模，然后建立一个网络，取得这些人，那你更应该去商业实验室了。

我们用Google Research构建的东西做过科学吗？当然。我们有一篇很好的论文，用word2vec来帮助构建解谜理论（a theory of puzzle solving）。

但我们原本可以建立一个跟word2vec同等效用的系统。这里面没有任何学术智力上的贡献。我不是在开玩笑。

我在一个晚上接到了一名顶级CS硕士研究生的电话，我们开始研究社会合作的问题。他想做深度学习。

仅仅两周的时间，我们就比Google Brain正在做的更进一步。我并不是说在技术上——他们拥有大量丰富的YouTube视频数据。但我们确实在学术贡献上（intellectually）领先他们。

谷歌说他们也做了社会科学，但实际并非如此，他们做的只是分布在50多个GPU上的homo economicus（经济人）。买一份Bowles and Ginits，Cooperative Species，你会在一周内学到更多东西。

你能在Google Brain做一些很酷的研究吗？诚实的回答是：不能。你将处于机器学习的最前沿，没有错，但这是一个工程学科，其基本目标是由大公司设定的。你不会成为一名科学家（you will not be a scientist）。

我知道你可能需要赚钱。你可以在那里赚很多。去吧，我非常尊重你的选择。学术界糟糕透了。

但是，如果你想要在你蓬勃发展的事业中的某些时刻，在你的思想和灵魂里，加入两千年推进人类智力前进的努力，你不会在谷歌做到这一点。当然Facebook也不行。

如果你真的选择后者，你还有一个选择，那就是加入大学的研究生院，读博。

你的收入不会很多，但你的导师将真正关心你的学术和智力发展。你很难高估优秀的博士课程与产业之间的差异。如果你是一名优秀的博士生导师，干扰学生的智力发展，实在是太可耻了。在谷歌，这一切都是一个商业计划。

这些都不是开玩笑。这是十年的经验。研究生院的申请将在秋季开始。想一想吧。确保你得到一笔好的交易（你不应该为读博负担债务，你也应该得到医保）。

简而言之：企业“研究”是一个商业主张，无论管理层如何。鉴于这些公司对员工的密切监控，现在这个差距微乎其微。

最后说件事：我们访问了Google Research，那里的人聪明绝顶，令人难以置信。我们集思广益，想出了各种精彩的研究思路。会议的最后一天，高校学者说，好，让我们去酒吧，把这些想法再落实！

但他们的回答是：这是我们的业余工作（vacation），我们手头真正的工作落后了，我们这个周末必须工作。 （不是“我们感到内疚了认为周末该去做”，而是“我们必须”。）

对于学者来说，这就是工作。突然间，我意识到，这只是他们的业余项目罢了。

反驳：AI产业化是不可阻挡的趋势，谷歌一直从事基础科学研究

当然，DeDeo的言论一出，立即引发了众多反驳之声，有人说这是我见过最不着调的评论，在谷歌大脑和FAIR，有很多科学家在做着真正的基础科研，虽然确实也有GSD（研究生调参），但完全与企业目标无关。

DeDeo的论调其实反映了一个早已有之的问题，那就是人才从学术界往产业界流动，这种趋势实际上在两年前就已经在AI圈里得到热议。

当时，还是加州大学伯克利分校人工智能和深度学习专家的 Pieter Abbeel（现在已经自己创业，成立了covariant.ai）表示，如今的这股热潮表明人工智能技术已经发展到了能够对现实世界产生影响的地步，而企业本身就是运用技术为社会提供产品和服务的。

荷兰莱顿大学社会科学家 Robert Tijssen 表示，上世纪50年代，同样的职业迁徙现象也在半导体研究中出现过，当时半导体领域的很多顶尖学者都被挖走，成为产业界研发实验室的负责人。Robert Tijssen 对 Nature 记者说，这些学者将他们的专业知识带入产业界，同时在产业里建立新的关系，而后又将这些产业关系反馈给原来学术界的同事和学生，达到典型的双赢局面。

位于卡内基·梅隆大学的美国国家机器人工程中心（US NREC）负责人 Herman Herman 对 Tijssen 的观点表示赞同。2015年，NREC 与 Uber 合作，Uber 从 NREC 的 150 名研究员当中招走了将近 40人，主要是研究自动驾驶汽车的研究员。当时有报道称 NREC 陷入危机，但 Herman 表示那个说法稍微言过其实；NREC 与 Uber 的合作项目只是卡内基·梅隆大学机器人研究所几十个项目中的一个，而机器人研究所有大约 500 名教职员工，这次人员调动对研究所来说正好是换新血的机会。而不久之后，Uber 就向机器人研究所捐资 550 万美元，用于支付学生和教职工的奖学金。同时，这一事件的新闻性还提升了机器人研究所的知名度，学生提交申请数量也增多了。

Yoshua Bengio 也曾对学术界人才流失表示担忧。他表示自己要坚守在学术界，不过，后来也成为微软和加拿大AI创业公司ElementAI的顾问。

Hinton预计深度学习领域专家短缺只会是暂时的。本人就属于谷歌大脑的的Hinton 告诉 Nature 记者，谷歌承认高校研究生项目的重要性。目前，谷歌资助了 250 多项学术研究项目和几十个博士奖学金。

Jeff Dean：谷歌用机器学习解决人类重大难题

就在前不久，在清华大学人工智能研究院成立仪式上，同期举行了清华-谷歌AI学术论坛。谷歌AI总负责人Jeff Dean也受聘成为清华大学计算机学科顾问委员会委员。

Jeff Dean在研讨会第一天的主旨演讲，题目是《用深度学习解决世界重大挑战》。

Jeff Dean发表主旨演讲：用深度学习解决重大挑战

Jeff Dean介绍了，过去6年来，Google Brain团队一直在研究人工智能中的难题，构建用于机器学习研究的大型计算机系统，并与Google的许多团队合作，将其研究和系统应用于众多Google产品当中。他们已经在计算机视觉，语音识别，语言理解，机器翻译，医疗保健，机器人控制等领域取得了重大进展。

谷歌在人工智能领域最终目标是三点：利用人工智能和机器学习让谷歌的产品更加实用（Making products more useful）；帮助企业和外部开发者利用人工智能和机器学习进行创新（Helping others innovate）；为研究人员提供更好的工具，解决人类面临的重大挑战。

谷歌大脑与顶级高校以及科研和医疗机构合作，从改善城市基础设施到健康信息学再到人脑逆向工程，还有使用深度学习预测分子性质，制作更好的药物……这些全都是在对人类有意义的基础科学。

深度学习目前还是只是工程，要寻求原理

然而，DeDeo的担忧有一点是真切的——深度学习更多的是工程，虽然最近越来越多的人开始关注理论研究，但是，大量的调参和超强的算力，以及大数据，仍然是深度学习当下的必须。

周志华教授在今年4月发表了一场《关于深度学习的思考》的主题演讲，其中提到，深度学习的理论基础尚不清楚：

但是实际上在学术界大家一直没有想清楚一件事情，就是我们为什么要用这么深的模型？今天深度学习已经取得了很多的成功，但是有一个很大的问题，就是理论基础不清楚。我们理论上还说不清楚它到底是怎么做，为什么会成功，里面的关键是什么？如果我们要做理论分析的话，我们先要有一点直觉，知道它到底为什么有用？这样才好着手去分析。 但现在其实我们根本就不知道该从什么角度去看它。

周志华教授还指出，深度学习的可重复性低：

今天大家都非常关注我们做出来的结果的可重复性，不管是科学研究也好，技术发展也好，都希望这个结果可重复。 而在整个机器学习领域，可以说深度学习的可重复性是最弱的。我们经常会碰到这样的情况，有一组研究人员发文章说报告了一个结果，而这个结果其他的研究人员很难重复。因为哪怕你用同样的数据，同样的方法，只要超参数的设置不一样，你的结果就不一样。

总之，当前深度学习还有很多问题，机器学习也一样。

不过，在哪里都能做真正的研究，尤其是AI领域产学研结合得越来越紧密的情况下，你觉得呢？