神经形态电子学的基础知识

编者按：EE Times 的神经形态计算特别项目为您提供了您需要了解的有关神经形态计算机的所有知识，从下面的文章中的基础知识到它是否是量子计算的桥梁以及介于两者之间的一切。

我们可以在机器中构建多少智能？近几十年来，我们已经取得了长足的进步，但 Siri 和 Alexa 等助手、图像识别应用程序甚至推荐引擎都告诉我们，我们必须走多远，以及我们已经走了多远。对于医学诊断、强大的计算机能力和大量标记良好的数据等深度学习任务，进展令人惊讶。

但是其余的呢？

我们对人工智能的渴望远远超出了数据科学。我们希望我们的可穿戴生物传感器系统能够立即警告我们可能表明严重健康事件的异常情况，能够对最具挑战性的驾驶条件做出实时反应的自动驾驶汽车，以及能够以最小方向行动的自动机器人。我们怎么去那里？

就目前而言，看起来至少我们的移动设备（在某种程度上）理解了我们，但实际上并没有。它们只是传递我们的声音，被解码成文字，然后是请求，然后是行动或答案。这是一个计算密集型过程。

2013 年的一项预测显示，“人们每天使用语音识别进行三分钟的语音搜索将使数据中心的计算需求增加一倍，而使用传统 CPU 将非常昂贵。” 这导致 Norman Jouppi 和他在 Google 的同事开发了张量处理单元 (TPU)，专注于优化矩阵乘法的硬件。这有望将神经网络查询的电源效率提高 95%。

这些处理器已经对基于服务器的应用程序产生了重大影响，但这种方法将所有内存和处理集中在数据中心。因此，它极大地依赖通信基础设施，并且可能会造成浪费，因为时间和精力都花在了交流信息上——其中大部分是无关紧要的。

进入边缘计算：我们如何满足移动和独立应用程序的速度、功率、面积和重量要求？

选择性复制生物学用于机器智能的神经网络受到生物学的启发（图 1）。因此，神经形态工程师试图模仿相同的生物学来创建能够以最佳方式运行它的硬件。这种方法为工程师提供了一个可供选择的大菜单。

图1：神经形态工程的目标是从生物学中学习尽可能多的知识，以实现大脑的低功耗和高功能。工程师在实现神经处理、记忆和通信时所做的设计选择将决定人工大脑执行给定任务的效率。

 

 

 

一种策略是停止将芯片架构划分为处理器和内存，而不是将其划分为神经元（同时执行这两种功能）。

其次，大的多对多神经元连接是首选，因为它使网络更强大。保持传入信号（例如图像）几何形状的传感器-处理器管道可能会有所帮助，因为它们允许在处理过程中进行有效的邻居 - 邻居交互 - 例如，人类视网膜。将信号值保持在模拟域中是有益的，因为一切都可以同时处理，而不是分解成不同位上的复杂动作。

最后，将通信时间与神经行为相关联——而不是任意时钟——意味着信号固有地包含更多信息：一起到达的类似大脑的尖峰通常与相同的事件有关。

这就是为什么“神经拟态工程”或“神经拟态计算”这个术语有点模糊的原因。该术语由加州理工学院教授 Carver Mead 在 1980 年代后期创造。在接下来的几十年里，米德和其他人的项目特别关注使用模拟计算的好处。一个例子是复制一组蝇眼运动检测器电路的系统：模拟信号被多个接收器检测到，然后通过最近邻交互向侧面传播。该系统速度非常快且功耗非常低（Reid Harrison 在 1990 年代后期仅展示了几微瓦），并展示了保留信号几何形状和模拟处理的优势。

“纯”神经形态系统的另一个特征是它们频繁使用地址事件表示或 AER。该通信系统具有传统网络的许多优点，同时提供多对多通信，同时保持尖峰定时。

使用 AER，神经元在需要依赖其学习、行为和刚刚接收到的输入时发出尖峰信号。它传输到网络中的所有其他神经元，但只有应该接收尖峰的神经元才会这样做；所有其他人都忽略它。该网络的不同之处在于尖峰之间的间隙相对较大，因此可以认为从不同神经元大致同时到达的尖峰是相关的（图 2）。

图 2：地址事件表示是维持神经元用来通信的尖峰时间的一种方法——每个神经元都没有直接连接到成百上千的其他神经元。只要尖峰出现的可能性足够低，以至于同时到达编码器的尖峰之间几乎没有争用，它就可以工作。

许多神经形态系统使用 AER——法国的 Prophesee 和瑞士公司 aiCTX (AI cortex) 专注于感觉处理。这种方法同样优雅和实用，提供了神经元之间硬连线连接的好处，而无需所有连线。这也意味着来自输入信号的信息可以简单地实时流过处理器，无关信息被丢弃，其余信息在神经管道中进一步处理。

权衡尽管这种“经典”神经形态技术具有吸引力，但缺点仍然存在。例如，所有的力量和速度都不是没有惩罚的。数字电子产品比模拟电子产品更耗电，正是因为设备不断纠正错误：将信号强制为 1 或 0。对于模拟电路，这种情况不会发生，因此由温度变化、设备可变性和其他因素引起的误差和漂移不会消失。结果可能并不完全 错误 ，而只是移位或损坏。

更糟糕的是，电子制造远非完美的现实。值得庆幸的是，这对于数字技术而言并不重要，因为可以测试电路。如果他们失败了，他们可以被丢弃。

尽管如此，在一个模拟系统中完美处理的一组神经权重在另一个模拟系统上可能效果不佳。如果你试图集中学习，然后将这种行为复制到许多不同的机器上，那就要付出代价。代价可能是接受较低的可靠性，或者更有可能设计更多的冗余来克服这些问题。

幸运的是，这不是一个无法克服的问题，但在我们转向忆阻器等新兴技术时值得注意 。这些优雅的设备可用于神经网络，因为它们是可以嵌入核心神经电路中的存储器。忆阻器具有允许模拟神经元变得更加紧凑和低功耗的优势。

另一种方法涉及最小化（或消除）模拟电路，同时实施基于自然的架构课程，尤其是分布式的、连接良好的神经元——使它们仅具有权宜之计的神经形态（图 3）。

图 3：什么是和不是神经形态之间的界限是模糊的。工程师在哪里做出妥协取决于应用和成功的标准。如果绝对可重复性很关键，而功率不是，则首选较少的神经形态解决方案。在速度、功率、面积和重量是主要关注点并且更容易接受模糊行为的情况下，神经形态计算变得实用。

例如， IBM 的 TrueNorth尽管是数字化的，但仍实现了非常低的功耗，因为基于逻辑的设备可以使用纳米制造工艺制造；以这些小尺寸实现模拟电路要困难得多。

英特尔的 Loihi 芯片更接近模拟，因为它是异步的：每个神经元都可以以自己的速度触发。同步通过一组相邻交互发生，因此在其他进程完成一个时间步或时钟驱动操作之前，不会开始任何进程。

良性循环所有这些都使得模拟神经形态系统看起来是死胡同，但事实并非如此。Loihi 和 TrueNorth 都是通用芯片，旨在用于通用学习任务。

但是生物学不是通用的。它根据特定任务进行优化。短期——速度、功率、面积和重量真的很重要——工程师也希望进行优化。他们最终会选择最高效的设计，即使芯片更昂贵。

如果神经形态计算的一些利基应用被证明是成功的，例如关键字定位或感官处理，那么这可能会形成投资、开发、创新和优化的良性循环。最终结果可能是一个可行的行业，拥有自己的摩尔定律版本，它与认知和智能任务的需求更紧密地联系在一起。

这导致了一个合乎逻辑的结论：神经形态处理器最终可以克服目前在尝试构建复杂的智能机器时面临的瓶颈。目标之一是机器可以推理和识别物体和情况，然后动态适应不同类型的感官数据——类似于人脑。

这一目标将需要深入了解生物过程，以使神经形态计算成为现实。

审核编辑 黄昊宇