实现多模态的神经形态感知提供了一种新型硬件方案

AlphaGo与人类围棋专家的经典对决早已成为往事，但每每提及人工智能发展史，又很难略过此事。

事实上，AlphaGo所依赖的硬件平台功耗达2.3MW之多，而人脑却只有20W的功耗。而且，20W功耗里面的大部分是用于维持神经细胞的生命活动，真正用来支持围棋活动的只是其中一小部分。

研究表明，人脑维持这种低功耗计算的重要原因之一，在于其事件驱动的脉冲信息处理模式，支持该计算模式的重要单元便是脉冲神经元。

而忆阻器作为一种新原理器件，为构建紧凑高效的脉冲神经元提供了新的物理基础，被认为是后摩尔时代构建类脑计算硬件的理想元器件之一。最近几年，类脑感知计算更是发展成一个具有蓬勃潜力的前沿型技术。

近日，复旦大学芯片与系统前沿技术研究院刘明院士团队，为实现多模态的神经形态感知提供了一种新型硬件方案。该方案除能用于压力-温度感知以外，还可扩展应用于湿度-温度、视觉-触觉、以及视觉-温度等多模态信息的融合感知。

张续猛是刘明团队的博士后，也是此次论文的共同通讯作者。他表示，该技术正是当前智能机器人以及人机交互等领域所亟需的。

概括来说，此次工作为类脑感知计算前沿领域，提供了一种硬件实现的新方法，并利用新原理器件解决了如下问题：基于传统CMOS（互补金属氧化物半导体，Complementary Metal Oxide Semiconductor）技术的感知端电路的结构复杂难题，以及所产生的模拟感知信号与神经形态处理器所处理的脉冲信号的不兼容难题。

为类脑感知计算提供硬件实现新方法

课题组表示：“对于此次工作的意义，可以较为直接地从论文题目中得到：异质集成多模态感知脉冲神经元阵列。这里有三个关键词：脉冲神经元、多模态感知和异质集成。”

首先是脉冲神经元，为什么要强调脉冲？随着大数据和人工智能时代的到来，数据量的爆炸式增长，对现有计算系统的算力提出了更高要求。为了延续算力的提升，近存计算、存算一体等新型架构在被提出之后，也展现出了一定效果。

然而，这种数据驱动的人工智能能耗巨大，不具备可持续的发展性。而NbOx基阈值转变忆阻器，又是构建脉冲神经元电路的典型神经元器件。

因此，该团队利用忆阻器构建的脉冲感知神经元电路，旨在为实现高效的脉冲计算模式，提供更紧凑的硬件方案，从而突破传统CMOS神经元电路的集成墙瓶颈问题。

接下来，再看多模态感知这一特点。众所周知，人体在感知和识别物体的时候，通常涉及多种感知信号的协同作用即多模态感知。例如，当人们相互交流时，嘴型、体态、微表情、以及声音等多种信息，能让人们能更清楚地理解彼此的表达以及潜在的意义。 论文中，课题组以装有水的杯子为例对多模态感知进行了说明：通常对于只有压力信息的单模态感知来讲，我们只能知道杯子的形状、以及杯中的水量，并不能获悉杯中的水温。如果想同时得知杯子形状、水量以及水温，那么就得引入另一个温度模态的信息。 在该研究工作中，利用神经元电路中忆阻器的本征温度响应感知温度信息，从而无需引入额外的温度传感器。同时，把压力传感器的电阻作为神经元电路的突触电阻，使得该神经元单元更加紧凑，从而促进集成度的提高。

（来源：Advanced Materials）

此外，该神经元电路能直接将模拟的多模态信息输出为脉冲序列，避免了额外的脉冲转换电路的引入，可适用于缘端低功耗的智能感知应用，例如智能机器人等。

最后，再来看一下异质集成。异质集成是一种集成技术，广义上指将多种基于不同材料体系的功能器件集成在一起，以实现更高效、更强大的应用，这在集成芯片领域是一个热门方向。

常见手段主要有硅基光电异质集成，依托硅材料与不同种类光电材料的异质集成，以充分发挥各种材料的优异特性。

得益于室温制备工艺，课题组将依托不同材料体系的传感器和忆阻器集成到一起，并初步验证了两者集成在一起的可行性，这为实现忆阻器和传感器的结合、进而为未来智能机器人与环境的高效交互提供了技术支撑。

近日，相关论文以“A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification”为题，发表在 Advanced Materials 上。

▲图 | 相关论文（来源：Advanced Materials）

中科院微电子所博士生朱佳雪为第一作者，复旦大学芯片院刘琦教授和张续猛博士担任共同通讯作者。

关于该论文，期刊方面一共分配了4位审稿人，有3位审稿人直接给出正面评价。其中一位评价称：“这样的多功能设备当然很有趣，并且作者还说明了该设备可能启发的新型应用程序。”

（来源：Advanced Materials）

“不再是冷冰冰的机器”

据悉，该研究是课题组在传入神经方面的延续性成果，传入神经处理的感知信号大多来自其它传感器，其工作重点在于实现传感器产生的模拟信号到脉冲信号的转换。

根据已有报道以及该团队的探索发现，此次使用的NbOx 基神经元器件还具有温度响应特性。从另一方面来讲，它本身也可作为温度传感器，从而在构建温度感知神经元单元时，无需引入额外的温度感知模块。

基于该发现和想法，张续猛与刘琦老师以及朱佳雪博士进行反复讨论，最终确定利用上述温度响应的同时，再引入另一传感参数，以实现多模态感知系统，以便缓解当前单一模态信息感知方法信息鲁棒性差、无法识别多模态物体的问题。

（来源：Advanced Materials）

确立目标以后，课题组经历了应用案例探讨、实施方案确定、阵列的集成优化、案例验证四个主要阶段。在具体应用案例上，他们从实际应用需求出发，旨在让这种多模态硬件和信息处理方案，更适用于日常场景。

最终，受生物躯体感知系统的启发，该团队将应用场景定位于：压力和温度这两种模态信息的感知。然后，以该应用为目标，不断优化实验方案，逐步解决了从单路输出脉冲信号中解耦多模态信息的关键问题。

在具体方案确定后，便是神经元阵列的异质集成。张续猛说：“这里还要感谢复旦大学王明老师在传感器制备、以及阵列集成方案方面，所给予的技术支持和宝贵意见。”

最后一步，便是利用制备的神经元阵列进行应用案例的验证，这一阶段涉及到阵列中多模态信号的获取以及数据集的采集。期间，他们利用采集的数据集，结合脉冲神经网络进行训练和识别，最终在多模态信息感知上，验证了神经元阵列的合理性和有效性。

（来源：Advanced Materials）

谈及应用前景，该小组举例称通过将该技术引入到机器人的手臂上，可以使得服务类机器人对于手中的饮品物态（重量、温度）进行多维度的信息获取，从而判断手中的饮品是否可以移交以及当前的物态是否会对人体造成伤害。

另外，该技术也能丰富机器人的交互能力，通过控制手的力道和温度，来让人机交互更人性化，而不再是冷冰冰的机器。

（来源：Advanced Materials）

将研发一体化的异质集成芯片

张续猛表示，论文在返修期间刚好遇上2022年上半年的上海疫情，为了补充实验数据，朱佳雪博士被封闭在校内，工作在实验室、睡在实验室，也算是一段特殊的人生经历。

再就是本工作的顺利完成，也得益于王睿博士的加入，王睿和朱佳雪的相互扶持和鼓励，也促成了研究的顺利完成。同时，王睿的研究课题也在临近时间完结发表，造就了一段学术伉俪的“人间佳话”。

尽管如此，张续猛坦言此次工作只是类脑感知技术向应用推进的浩瀚历史海洋中的一叶扁舟。由于这篇论文只是概念性的验证，距离实际应用还有较大差距，同时也涉及到器件、电路以及系统集成等多方面的挑战。

后面，他们会继续在上述三方面开展研究，旨在实现集传感、信息处理、任务决策、以及行为控制于一体的异质集成芯片，并将在机器人上实现功能演示。

同时，他们将继续以产业应用需求为目标，不断优化和推进实现方案，以求实现成果转化。“希望该领域衍生的技术可以在不久的将来回馈社会，提升人们的生活品质。”张续猛最后表示。

论文链接： https://doi.org/10.1002/adma.202200481

审核编辑 ：李倩