硬件的未来在AI、AI的未来在材料

前言

由于，人工智能（AI）担负工作与目前大多数计算机的运算工作有些不同。然而，AI隐含着分析预测、推理、直观的能力与功能。实时是最有创意的机器学习算法也受到现有机器硬件能力的束缚。因此，若要在AI方面取得长足进步，我们必须在硬件上进行改变，或是半导体材料上进行突破。演变从GPU开始，引入模拟设备（analog devices），然后演变成为具容错性量子计算机（fault tolerant quantum computers）。 现在从大规模分布式深度学习算法应用于图形处理器（GPU）开始将高速移动的数据，达到最终理解图像和声音。DDL算法对视频和音频数据进行训练，GPU越多表示学习速度越快。

目前，IBM创下纪录：随着更多GPU加入能提升达到95％效率，就能识别750万个图像达到33.8％，使用256个GPU 于64个Minsky电源系统上。 自2009年以来，随着GPU模型训练从视频游戏图形加速器转向深度学习，使分布式深度学习每年以约2.5倍的速度发展。所以IBM曾于2017年IEEE国际电子设备会议（2017 IEEE International Electron Devices Meeting）针对应用材料发表Semiconductor Futurescapes： New Technologies， New Solutions，谈到需要开发哪些技术才能延续这种进步速度并超越GPU？

如何超越GPU IBM研究公司认为，GPU的转变分为三个阶段进行：

1、首先将在短期内利用GPU和传统的CMOS构建新的加速器以继续进行；

2、其次将寻找利用低精密度和模拟设备（analog devices）来进一步降低功率和提高性能的方法；

3、然后进入量子计算时代，它可是一个机会，能提供全新的方法。 在CMOS上的加速器还有很多工作要做，因为机器学习模型可以容忍不精确的计算。正因为“学习”模型可以借助错误学习而发挥作用，然而，在银行交易是无法容忍有一些许的错误。预估，精准运算快速的趋势，到2022年每年以2.5倍在提高。所以，我们还有五年时间来突破模拟设备（analog devices），将数据移入和移出内存以降低深度学习网络的训练时间。因此，analog devices寻找可以结合内存和运算，对于类神经演算的进展将是非常重要的。 类神经演算如同模拟脑细胞。神经元（neurons） 结构相互连接以低功率讯号突破von-Neumann的来回瓶颈（von-Neumann’s back-and-forth bottleneck），使这些讯号直接在神经元之间传递，以实现更高效的计算。美国空军研究实验室正在测试IBM TrueNorth神经突触系统的64芯片数组，专为深度神经网络推理和挖掘信息而设计。该系统使用标准CMOS，但仅消耗10瓦的能量来驱动其6400万个神经元和160亿个突触。 但相变化内存（phase change memory）是下一代内存材料，可能是针对深度学习网络优化的首款仿真器件。

进入量子时代 （quantum） 据IBM公司的研究论文，在Nature Quantum Information中展示了机器学习中量子的优势证明（“Demonstration of quantum advantage in machine learning”），展示了只有五个超导量子位处理器，量子运算能够稳定减少达100倍运算步骤，并且比非量子运算更能容忍干扰的信息。 IBM Q的商业系统现在有20个量子位，并且原型50个量子位设备正在运行。它的平均时间为90μs，也是以前系统的两倍。但是容错系统在今天的机器上显示出明显的量子优势。同时，试验新材料（如铜相通的替代品）是关键 - IBM及其合作伙伴在IEDM上推出的其他关键芯片改进，以推进所有运算平台，从von Neumann到类神经及量子。 解决处理器到储存器的连接和带宽瓶颈，将为AI带来新的储存器架构，最终可能导致逻辑和储存器制造过程技术之间的融合。IBM的TrueNorth推理芯片就是这种新架构的一个例子，其中每个神经元都可以存取自己的本地储存器，并且不需要脱机存取储存器。 借助训练和推理形式的AI运算，必须推向边缘装置上（edge devices），例如：手机、智能手表等。因此，这将兴起由计算设备组成的网络系统。大多数这样的边缘装置会受到功率和成本的限制，所以他们的计算需求可能只能透过高度优化的ASIC来满足。现在，传统无晶圆厂半导体公司是否有能力提供这类型的ASIC或是否由AI芯片新创公司例如云端服务提供商，由谁主导目前还为时过早。

备注：*冯诺伊曼架构（von Neumann bottleneck）：是一种将程序指令内存和数据存储器合并在一起的计算机设计概念架构，因此也隐约指出将储存装置与中央处理器分开的概念。在CPU与内存之间的流量（数据传输率）与内存的容量相比起来相当小，在现代计算机中，流量与CPU的工作效率相比之下非常小。当CPU需要在巨大的数据上执行一些简单指令时，数据流量就成了整体效率非常严重的限制，CPU将会在数据输入或输出内存时闲置。由于CPU速度远大于内存读写速率，因此瓶颈问题越来越严重。