一种具有高度柔性与可塑性的超香肠覆盖式神经元模型

人工神经网络是模拟人脑神经活动的重要模式识别工具，受到了众多科学家和学者的关注。然而，近年来DNN的改进与优化工作主要集中于网络结构和损失函数的设计，神经元模型的发展一直非常有限。神经生物学和认知神经科学的研究表明，神经元的学习能力是生物神经系统完成学习和记忆任务的重要基础，这些机理可促使我们在神经元设计和优化方面进一步提高DNN的性能。

受生物认知机制的启发，中国科学院半导体研究所高速电路与神经网络实验室李卫军研究员团队设计了一种具有高度柔性与可塑性的超香肠覆盖式神经元模型（HSCF neuron）（如图1所示）。

 图1.超香肠覆盖式神经元模型及分类策略可视化表示

研究团队定义了一种新的交叉熵和体积覆盖率损失函数，该损失函数可最大限度地压缩超香肠的体积，从而确保样本的类内紧凑性。研究团队引入了一种分裂迭代方法，将每个神经元模型视为一个弱分类器，并迭代增加弱分类器的数量，该迭代方法可自适应地确定HSCF神经元的最优数量，形成了端到端的学习框架（如图2所示）。

图2.基于超香肠覆盖式神经元模型的网络结构示意图

最后，研究团队在模式识别领域的八个经典数据集上进行的对比实验和消融实验证明了该方法的有效性。超香肠覆盖式神经元模型可以应用于经典的DNN中以解决多种模式识别问题，具有广泛的应用与学术价值；此外，所提出的方法也证明了利用神经元可塑性增强DNN性能的可行性，为DNN的进一步发展提供了新的视角。

该研究成果近日以“Hyper-sausage coverage function neuron model and learning algorithm for image classification”为题发表于模式识别领域TOP期刊《Pattern Recognition》(136 (109216), 2023), 文章发表后相继入选ESI热点与ESI高倍引论文，并入选期刊2023年Editors' Choice Paper。论文第一作者为半导体所宁欣副研究员，通讯作者为李卫军研究员。本工作得到国家自然科学基金委项目的支持。

审核编辑：汤梓红