在人工智能领域，硬件将决定 idea 的成败

研究想法能否成功要看是否具备合适的软硬件，而不是这个想法是否比其他研究方向优秀。

天时、地利、人和，三者不得，虽胜有殃。

——《孙子兵法》

一件事的成败总会牵涉多个因素，例如兵法中的「天时」、「地利」、「人和」。在计算机科学历史上，也有类似的现象，如「硬件」、「软件」、「算法」三要素对研究想法成败的影响。

近日，谷歌大脑研究员 Sara Hooker 写了一篇论文，她用「硬件彩票」（hardware lottery）来描述：一个研究想法的成功是因为具备了合适的软硬件，而不是这个想法比其他研究方向更加优秀。早期计算机科学史的许多例子表明，硬件彩票通过把成功的研究想法看作失败，而拖慢了研究进度。而领域专用硬件的出现使研究想法偏离惯常路径的成本增加，这就让这一现象更加显著。

论文地址：

https://arxiv.org/pdf/2009.06489v1.pdf

这篇论文指出，算力进步带来的收获可能更加不均匀，某些研究方向走上了快车道，而有的则困难重重。

人工智能领域，硬件决定 idea 的成败

历史告诉我们，科学进展并非是一帆风顺的。知识传统和可用工具会使科学家对特定想法形成不同的认知，这为判断研究想法是否有潜力增加了噪声。这篇论文指出，在人工智能研究领域中，工具对于判断研究想法的成败起到了绝大部分的作用。

这篇论文用「硬件彩票」来描述这一现象：一个研究想法的成功是因为它可以与当时的软硬件兼容，而不是因为这个想法比其他研究方向优秀。在早期计算机科学史上，软硬件选择常常对决定研究想法的成败起到决定性作用。

随着我们进入软件、硬件和机器学习研究社区更加紧密合作的新时代，这些经验愈发凸显。过去几十年，人们将硬件、软件和算法看作割裂的选项，但促使近期三者更加紧密协作的催化剂就包括正在改变的硬件、深度学习架构「规模越大性能越好」的理念，以及将机器学习部署到边缘设备的需求。

软硬件和机器学习算法之间更紧密合作的核心是新一代领域专用硬件，它们针对深度神经网络的商用进行了优化。尽管领域专用硬件为主流深度神经网络研究带来了重要的效率提升，但这也使得研究想法偏离既有路径的成本增加。更加碎片化的硬件市场意味着基于算力进展获得的收益将变得更加不均衡。尽管深度神经网络已经有了明确的商用场景，但目前已经出现了早期信号，提醒我们要实现 AI 的下一个突破可能需要完全不同的算法、硬件和软件组合。

硬件、软件、算法：三个独立的部落

对于首批计算机的创造者而言，程序是机器。早期的机器是单独使用的，且不会适应新的任务，原因在于电子器件成本高且缺乏跨任务的软件。

查尔斯 · 巴贝奇的差分机仅用于计算多项式函数 （1817）。美国第一部大尺度自动数位电脑马克一号（Mark I）是可编程计算器（1944）。Rosenblatt 的感知器用来计算 step-wise 单层网络（1958）。甚至常被认为是首批可编程机器的雅卡尔织布机重新穿孔的成本也很高，因此它通常只穿孔一次 （1804）。

这些早期计算机的专用性是出于当时的需要，而不是计算机设计师认为一次性的定制硬件更好。但是，需要指出的是，人类智能本身就是算法和机器的结合。我们一生中不会长出多个大脑。而人类智能的概念本质上与 1400g 脑组织和大脑中 850 亿神经元之间的连接密切相关。当我们谈论人类智能时，你脑海中浮现出的图像可能是粉色带褶皱的一团（