华为降低忆阻器对神经网络的影响专利

华为申请的此项专利，能够在保证神经网络精度的前提下，压缩网络模型，同时还能极大地减小了忆阻器器件噪音对神经网络准确性的影响。

集微网消息，忆阻器全称记忆电阻，即表示具有记忆能力的电阻，被认为是能够突破摩尔定律的新方向。有数据统计称，一个忆阻器的工作量相当于一枚CPU芯片中十几个晶体管共同产生的效用，而国内巨头华为公司也开始“低调”研发。

近年来，神经网络(neural network，NN)计算取得了突破性进展，在图像识别、语言识别、自然语言处理等诸多领域均取得了很高的准确率。然而神经网络需要海量计算资源，传统的通用处理器已经很难满足深度学习的计算需求，设计专用芯片已经成为了一个重要的发展方向。忆阻器具有高密度、非易失、低功耗、存算合一、易于3D等优点，为神经网络芯片设计提供了一种高效的解决方案。忆阻器阵列作为神经网络加速芯片，以加速矩阵乘法运算为主要的设计目标，整个过程在模拟电路下实现，具有速度快，面积小的优点。

但是，忆阻器器件在实际应用中，存在噪音的问题，即设置的忆阻器电导值并不精确的等于所需要的值，而是落在期望值附近的一个分布中。如何降低忆阻器器件噪声对神经网络的准确性的影响，是亟待解决的问题。

为此，华为申请了一项名为“一种神经网络训练方法及装置”的发明专利（申请号：201810702883 .9），申请人为华为技术有限公司。

图1 神经网络示意图

神经网络的建模通常以若干神经元为一层，层与层之间相互连接来构建，如图1所示，是一种链状的神经网络示意图。其中图1中每一个圆表示一个神经元，每一个箭头表示神经元之间的连接，每个连接均有权重。

在神经网络的应用中，矩阵向量乘运算是常见的操作，可以利用忆阻器交叉开关阵列具有的存储和计算在同一个物理位置的特性，用忆阻器交叉开关阵列来进行矩阵向量乘运算来提高神经网络的计算效率。

图2 忆阻器开关阵列

本专利提出的神经网络训练方法可以应用于如图2所示的忆阻器开关阵列，如图2所示，输入向量为不同的电压值V0-Vn，可以表示为向量V，经过忆阻器交叉开关阵列计算后，输出为新的电压值V '0-V 'm，可以表示为向量V '。其中，V '＝VGRs，向量Rs包括元素 rs0, rs1,…, rsm其中rsj表示第j列的接地电阻值。

实际应用中，忆阻器器件的噪音会给基于忆阻器的神经网络的表达能力带来负面影响，为了消除噪音对于实际神经网络性能的影响，可以在神经网络训练时引入噪音，通过将底层器件噪音暴露给软件训练层面，来抵消一部分硬件层面的噪音所带来的精度影响。

图3 神经网络训练方法示意图

该专利中提出的可用于图1、2的神经网络训练方法示意图如上所示，该训练方法主要包括如下几个步骤：

首先，将第一权重矩阵中绝对值小于或者等于预设门限的元素进行剪枝操作获取第二权重矩阵。其中，第一权重矩阵为预设权重矩阵，可以将神经网络中需要进行训练的权重矩阵设置为预设权重矩阵。然后为第二权重矩阵的每个元素附加一个噪音，该噪音用于模拟忆阻器器件噪音，以此获得第三权重矩阵。接着，根据第三权重矩阵进行前向传播，并将相应的结果与目标值进行比较，获得损失值。最后再将损失值和第一权重矩阵进行反向传播以获取目标权重矩阵。

华为申请的此项专利，能够在保证神经网络精度的前提下，压缩网络模型，同时还能极大地减小了忆阻器器件噪音对神经网络准确性的影响。

虽然忆阻器前景较好，但国内市场进行忆阻器芯片研发的企业较少，忆阻器的大部分技术仍停留在实验室阶段，而作为国内科技“领头羊”的华为公司也开始展开阻器的研究，可谓给其他企业吃了一颗“定心丸”，势必会引起国内忆阻器行业的研发浪潮。