深度学习时代AI模型需规模化扩展

关于深度学习，它正在快速接近其极限。虽然事实可能的确如此，但我们仍未能在日常生活中感受到全面部署深度学习的影响。

MIT：算力将探底，算法需改革

近日，MIT发出警告：深度学习正在接近现有芯片的算力极限，如果不变革算法，深度学习恐难再进步。

根据麻省理工学院，MIT－IBM Watson AI实验室，Underwood国际学院和巴西利亚大学的研究人员在最近的研究中发现，持续不断的进步将需要通过改变现有技术或通过尚未发现的新方法来更有效地使用深度学习方法。

目前深度学习的繁荣过度依赖算力的提升，在后摩尔定律时代可能遭遇发展瓶颈，在算法改进上还需多多努力。

深度学习不是偶然的计算代价，而是设计的代价。共同的灵活性使它能够出色地建模各种现象，并且性能优于专家模型，这也使其在计算上的成本大大提高。

研究人员估计，三年的算法改进相当于计算能力提高10倍。总体而言，在深度学习的许多领域中，训练模型的进步取决于所使用的计算能力的大幅度提高。 另一种可能性是，要改善算法本身可能需要互补地提高计算能力。

在研究过程中，研究人员还对预测进行了推断，以了解达到各种理论基准所需的计算能力以及相关的经济和环境成本。

即使是最乐观的计算，要降低ImageNet上的图像分类错误率，也需要进行10的五次方以上的计算。

根据多项式和指数模型的预测，通过深度学习获得相应性能基准所需的算力（以Gflops为单位），碳排放量和经济成本，最乐观的估计，ImageNet分类误差要想达到1％，需要10＾28 Gflops的算力，这对硬件来说是不小的压力。

爆炸式增长结束，顶部提升有机会

用于深度学习模型的计算能力的爆炸式增长已经结束了，并为各种任务的计算机性能树立了新的基准。但是这些计算限制的可能影响迫使机器学习转向比深度学习更高效的技术。

过去算力的提升归纳了两个原因：

一个是底部的发展，即计算机部件的小型化，其受摩尔定律制约；

另一个是顶部的发展，是上面提到的软件、算法、硬件架构的统称。

在后摩尔定律时代，提升计算性能的方法，虽然底部已经没有太多提升的空间，但顶部还有机会。

在软件层面，可以通过性能工程（performance engineering）提高软件的效率，改变传统软件的开发策略，尽可能缩短软件运行时间，而不是缩短软件开发时间。另外，性能工程还可以根据硬件的情况进行软件定制，如利用并行处理器和矢量单元。

在算法层面，在已有算法上的改进是不均匀的，而且具有偶然性，大量算法进展可能来源于新的问题领域、可扩展性问题、根据硬件定制算法。

在硬件层面，由于摩尔定律的制约，显然需要改进的是硬件的架构，主要问题就是如何简化处理器和利用应用程序的并行性。

通过简化处理器，可以将复杂的处理核替换为晶体管数量需求更少的简单处理核。由此释放出的晶体管预算可重新分配到其他用途上，比如增加并行运行的处理核的数量，这将大幅提升可利用并行性问题的效率。

深度学习时代AI模型需规模化扩展

现代AI模型需要消耗大量电力，而且对电力的需求正以惊人的速度增长。在深度学习时代，构建一流AI模型所需要的计算资源平均每3．4个月翻一番。

在当今以深度学习为中心的研究范式当中，AI的主要进步主要依赖于模型的规模化扩展：数据集更大、模型更大、计算资源更大。

在训练过程中，神经网络需要为每一条数据执行一整套冗长的数学运算（正向传播与反向传播），并以复杂的方式更新模型参数。

在现实环境中部署并运行AI模型，所带来的能源消耗量甚至高于训练过程。实际上，神经网络全部算力成本中的80％到90％来自推理阶段，而非训练阶段。

因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。

深度学习时代AI模型需规模化扩展

现代AI模型需要消耗大量电力，而且对电力的需求正以惊人的速度增长。在深度学习时代，构建一流AI模型所需要的计算资源平均每3．4个月翻一番。

在当今以深度学习为中心的研究范式当中，AI的主要进步主要依赖于模型的规模化扩展：数据集更大、模型更大、计算资源更大。

在训练过程中，神经网络需要为每一条数据执行一整套冗长的数学运算（正向传播与反向传播），并以复杂的方式更新模型参数。

在现实环境中部署并运行AI模型，所带来的能源消耗量甚至高于训练过程。实际上，神经网络全部算力成本中的80％到90％来自推理阶段，而非训练阶段。

因此，数据集规模越大，与之对应的算力与能源需求也在飞速增长。模型中包含的参数量越大，推理阶段所带来的电力需求就越夸张。

虽然深度网络会是解决方案的一部分，但还需要涉及组合原则和因果模型的互补方法，以捕捉数据的基本结构。此外，面对组合性爆炸，需要要再次思考如何训练和评估视觉算法。

每一次人工智能低谷来临之前，都会有科学家夸大和炒作他们创造的潜力，仅仅说他们的算法就能够很好地完成某项任务是不够的。

对大多数问题来说，深度学习并不是正确的解决方法，不要试图为所有的问题寻找通用人工智能解决方案，因为它根本就不存在。

结尾：

深度学习的发展可能已达极限，但其影响还将持续深远。为了避免在“人工智能冬天”中被淘汰的命运，能做的最好的事情就是明确你要解决的问题，并理解其本质；然后，寻找为特定问题提供解决方案的直观路径的方法。
       责任编辑:pj