通过平衡传播获得更好的AI芯片

AI专业人员一直在追求一种AI，它肯定会降低做普通AI事情所需的能量，例如感知单词和图片。这种机器学习的模拟类型利用电路的物理原理而不是数字原理来完成神经网络的一项重要数学任务。但是，限制该方法的主要因素之一是深度学习的训练算法（反向传播）必须由GPU或其他单独的数字框架来完成。

神经形态芯片初创公司Rain Neuromorphics与加拿大研究院Mila之间的研究合作表明，可以想象使用完全模拟的硬件来训练神经网络，这为端到端的模拟神经网络提供了机会。这对神经形态处理和AI硬件整体具有重大影响-它保证了完全可用于训练和推理的模拟AI芯片，从而显着节省了计算，功耗，等待时间和大小。这项进步将工程学和深度学习的纽带联系在一起，为AI动力机器人打开了入口之门，这种机器人可以在现场独自学习，就像人类一样。

在由“人工智能的教父”之一，获奖者Yoshua Bengio共同创建的题为“具有均衡传播的端到端模拟神经网络训练”的论文中，分析家们表明，可以训练神经网络来利用交叉开关忆阻器的展示，就像在当今使用内存中处理器方法的商业AI加速器芯片中使用的安排一样，却没有在网络的每一层之间使用相关的ADC和DAC。结果为潜力更大的高能效AI硬件提供了潜力

Rain Neuromorphics首席执行官戈登·威尔逊（Gordon Wilson）表示：“如今，能源利用和成本是最大的制约因素，使我们无法交付新型人工智能。我们确实需要找到一种无可否认地更有效的计算基础，一种本质上可以提高能源效率的基础，一种允许我们不将培训局限于大型数据中心的基础，但除此之外，我们还可以进入一个可以设想免费，自主的世界，能源无限的设备，独自学习。同样，这是我们认为这一新进展正在打开通向的大门。”

分析人员已经对MNIST分类（改良的美国国家标准与技术研究院手写数字数据库）的端到端模拟神经网络进行了模拟训练，其性能与相同大小的基于软件的神经网络相似或更好。

模拟电路可以在某种程度上节省神经网络的功率，因为​​它们可以熟练地进行称为乘法和累加的关键计算。该估计值会根据不同的负载乘以贡献值，然后汇总这些值中的每一个。电气工程的两个基本定律也可以从根本上做到这一点。欧姆定律将电压和电导相乘以提供电流，基尔霍夫的“电流定律”将输入点的电流相加。通过将神经网络的权重存储在电阻式存储小部件（例如忆阻器）中，乘法和累加可以完全以模拟方式发生，可以将功耗降低几个数量级。

如今，模拟AI系统无法训练自己的原因与零件的可变性息息相关。与真实神经元非常相似，模拟神经网络中的神经元并非完全无法区分。要对模拟段进行反向传播，您应该制造两条单独的电路路径。一个人继续思考一个答案（称为推理），另一个人反过来进行学习，因此适当的回答变得更加准确。但是由于模拟成分的可变性，这些途径无法协调。

平衡传播（EqProp），由Bengio和Scellier在2017年设计的一种方法。这种训练算法只有一条数据路径，因此可以避免模拟硬件中的反向传播问题。但是有一个警告。EqProp仅适用于基于能源的网络。

结果是，尽管EqProp自2017年以来就已经存在，但这项新工作已将抽象思想转变为可以通过电路物理识别的事物。这将使端到端的模拟计算成为可能，而无需在每个步骤都切换到数字域或从数字域切换。