神经形态架构在计算基础架构中的重要性分析

根据技术专家的说法，是Carver Mead在Gordon Moore于1965年在Electronics Magazine发表了具有里程碑意义的文章“将更多的元件塞入集成电路”十年后，创造了“摩尔定律”一词。在接下来的数十年里，该文章概述的规律改变了世界——即每两年左右，半导体公司将能够在单个半导体芯片上制造的晶体管数量翻一番。

晶体管的每两年翻倍最显着地带来了计算能力的更快指数增长。除了从摩尔定律中获得更多的晶体管之外，我们还获得了更快，更便宜，更节能的晶体管。所有这些因素共同使我们能够构建更快，更复杂，性能更高的计算设备。

到1974年，Robert Dennard观察到，由于随着工艺几何尺寸的减小，密度，速度和能量效率的三倍提高，计算的功率效率将甚至快于晶体管数量。这种被称为“ Dennard Scaling”的趋势在我们身边已经存在了大约三十年，而计算性能（更重要的是，功率，事实证明）推动了前所未有的指数级改进。

所有这些计算能力的改进都建立在John Von Neumann等人于1945年开发的冯·诺伊曼处理器体系结构的基础上，在未完成的报告“ EDIMAC报告的初稿”中有记录。具有讽刺意味的是，历史上最令人印象深刻的技术革命是建立在一个半世纪前未完成的设计之上的。随着摩尔定律时代数字计算领域的所有显着进步，如今已有75年历史的基本计算体系结构基本上保持不变。

冯·诺依曼架构仅仅是进行计算的最佳方法吗？当然不是。用Winston Churchill的话来说，Von Neumann是除了其他所有架构之外，最糟糕的计算架构。VonNeumann的优点在于它的灵活性和面积效率。它可以处理几乎任何任意复杂的应用，而无需处理器根据问题的大小来扩展晶体管的数量。

在过去，在将如此多的元件塞入集成电路之前，冯·诺依曼的架构效率非常重要。我们可以用很少的晶体管构建4位，8位或16位的冯·诺依曼处理器，并以可接受的速度运行大型应用。但是随着摩尔定律的出现，晶体管正逐渐接近零成本。因此，由于可用晶体管的数量几乎是无限的，因此用较少数量的晶体管构建处理器的价值就大大下降了。

同时，即使摩尔定律全力以赴，从每个先进节点提取的值也有所减少。Dennard Scaling在2005年左右结束，这迫使我们从建造更大/更快的冯·诺依曼处理器转向制造“更多的”冯·诺依曼处理器。这场比赛使更多的内核挤满了集成电路，Von Neumann到多核的可扩展性带来了自己的局限性。

更让人难过的是，摩尔定律并没有继续蒸蒸日上。最近几个制程节点中的每一个节点实现的成本成倍增加，并且实际收益却成比例地减少。这导致的结果是，即使从技术上讲，我们应该能够制造更多代的更密集的芯片，但是这样做的成本/收益比却使其吸引力越来越小。

现在，我们需要摩尔定律以外的其他驱动因素来保持技术进步的步伐。

显然，作为单一的全部计算架构，冯·诺依曼也到了将要寿终正寝的时候。最近的AI革命加速了Von Neumann替代产品的开发。AI，特别是用卷积神经网络完成的AI，是一个难以置信的计算密集型计算，这是个特别不适用于Von Neumann的应用。这就使我们开始从大型的同类计算元素阵列转移到了包括冯·诺依曼方法和非冯·诺依曼方法在内的异构元素的复杂配置。

神经形态架构是最有前途的非冯·诺依曼人工智能方法之一。 在1980年代后期，Carver Mead（是的，据说是“摩尔定律”的创造者是同一个人）观察到，在当时的发展路线上，冯·诺依曼处理器所消耗的能量比人脑进行相同计算所用的能量高出数百万倍。他的理论是，可以通过模拟人脑的神经元结构来构建更有效的计算电路。Mead用晶体管电流模拟了神经元离子流，并基于该思想提出了后来被称为神经形态计算的方法。

当时，神经形态计算可视为一种模拟事件，神经元以不断变化的电压或电流相互触发。但是，世界在优化数字设计的二进制世界的道路上坚定不移。模拟电路无法像数字指数那样进行缩放，因此神经形态计算的发展超出了摩尔定律的主流轨道。

但是，现在情况发生了变化。

从长远来看，我们看到大多数模拟功能都包含在数字逼近中，神经形态处理器已通过所谓的“尖峰神经网络”（SNN）实现，该神经网络依赖于每个神经元的单个峰值来激活神经元下方的神经元链。这些网络是完全异步的，激活而不是发送值取决于尖峰的时间。使用这种技术，利用了当前最先进的批量CMOS数字技术，实现了神经形态处理器。这意味着神经形态结构最终可以从摩尔定律中获得收益。结果，已经构建并测试了几种实用的神经形态处理器，其结果令人印象深刻且令人鼓舞。

我们大约在两年前报道的一个示例是Brainchip的Akida神经形态处理器，该开发板已于2020年12月上市。Brainchip声称其设备的功耗比传统的基于CNN的解决方案低90％至99％。据我们所知，这是进入广泛的商业市场的首批神经形态技术之一，潜在的应用前景是巨大的。

Brainchip提供了其技术的IP版本和SoC以及在硅片中的完整实现。几乎所有可以利用“边缘”人工智能的系统都可以从此类节能中受益，并且通常可以在做与不做边缘人工智能之间做出区别。

同样在2020年12月，英特尔提供了其名为Loihi的神经形态研究测试芯片以及它们的“英特尔神经形态研究社区（INRC）”的最新信息，这两者也在两年前宣布。Loihi在包括语音命令识别，手势识别，图像检索，优化和搜索以及机器人技术在内的广泛应用中，已将能源效率进行了基准测试，其能耗比CPU和GPU高30-1，000倍，并且快100倍。同样重要的是，与基于CNN的系统形成鲜明对比的是，该体系结构使自己能够进行快速且持续的学习，而基于CNN的系统往往会经历紧张的训练阶段，该阶段会创建静态的推理模型。英特尔表示，他们正在寻求将能效提高1000倍，将性能提高100倍，

并非所有问题都会转向神经形态，很适合今天的深度学习技术的算法是显而易见的赢家。英特尔还在评估“受神经科学启发”的算法，该算法可模拟大脑中发现的过程。最后，他们正在研究“数学公式化”的问题。

在第一类中，从当今的深度神经网络（DNN）转换而来的网络可以转换为神经形态芯片可用的格式。另外，可以使用神经形态处理器本身创建“直接训练”的网络。最后，尽管在神经形态处理器中需要进行全局通信，但在神经形态处理器中可以模拟CNN中常见的“反向传播”。

Loihi是研究芯片，并非为生产而设计。它是一款采用英特尔14纳米CMOS工艺制造的20亿晶体管晶体管芯片。Loihi包含一个完全异步的“神经形态多核网格，它支持广泛的稀疏，分层和递归神经网络拓扑，每个神经元都能够与数千个其他神经元进行通信。”

这些核心中的每一个都包括一个学习引擎，该引擎在操作期间会调整参数。该芯片包含130，000个神经元和1.3亿个突触，分为128个神经形态核心。该芯片包括用于SNN芯片培训的微码学习引擎。Loihi芯片已经集成到板和盒中，在768个芯片中包含多达1亿个神经元。

现在，我们处于许多趋势的交汇处，这些趋势可能会形成处理器架构革命的完美风暴。首先，神经形态处理器处于商业可行性的拐点处，它们为某些问题带来了相当于10个摩尔定律节点（20年）的进步。

其次，传统的DNN正在迅速发展，并且产生了与神经形态处理器中发现的相关的和相似的架构创新，这表明可能在未来的“两全其美”的架构中融合两种架构领域的特征。

第三，摩尔定律即将结束，这将更多的重点，才能和金钱投入到建筑方法的发展中，以推动未来的技术进步。

第四，随着这些神经形态处理器中的第一个获得商业关注并创造出投资，开发，完善和部署的良性循环，这将是有趣的。可能在几年内，神经形态架构（或类似的衍生技术）将在我们的计算基础架构中扮演重要角色，并迅速发展到今天只能想象的最前沿的新应用程序。
编辑：hfy