低功率设备可以用硅耳蜗收听

随着我们朝着更加无处不在、始终在线的传感和计算迈进，电源变得越来越重要。或许没有比我们办公桌上、口袋里和家中分布的声控设备更能说明这一点的重要例子了。正如我们去年所看到的，关键词识别目前是各种神经形态技术的目标。

硅耳蜗

2020 年 Misha Mahowald 神经形态工程奖的获得者是刘世琦教授和她的团队，他们一直致力于研究用于检测语音的低延迟、低功耗传感器。神经信息学研究所 (INI) 的 Shih-Chii Liu 和她的团队一直在开发的动态音频传感器最终可能会解决这个市场。它们的核心是一个硅耳蜗，旨在模仿生物学。首先，使用一组模拟带通滤波器将传入的声音过滤到频率通道中，其输出经过半波整流。总之，这模拟了耳朵中毛细胞的功能。

在传统的音频系统中，首先使用模数转换器对声音进行转换，然后使用数字快速傅里叶变换 (FFT) 和带通滤波 (BPF) 提取特征。这些由运行语音活动检测 (VAD) 或自动语音识别算法的数字信号处理器 (DSP) 处理。B. 在 INI-Zurich 动态音频传感器中，信号作为模拟音频带从具有特征和变化被接收，并行编码成异步尖峰（事件）序列，然后对其进行处理。

正如生物学中发生的那样，不同的通道随后准备好在大脑中进行处理。在耳朵中，神经节细胞将信号编码为一股化学离子：在硅耳蜗中，它们变成电尖峰。这可以使用经典的集成和触发功能或异步增量调制器 (ADM) 来完成，它将信号与两个阈值进行比较，并在这些阈值通过时发送适当的事件，因此充当特征提取器。由于忽略了不变的信号，因此传递到下一阶段的冗余信息量减少了。

从功率的角度来看，如果什么都没发生，硅耳蜗几乎不会消耗任何能量，但随着活动的增加，尖峰的数量也会增加。根据应用程序的不同，这可能是一个巨大的优势（如果有很多聆听但很少采取行动）或根本没有优势（当有相关的东西一直需要解码时）。

然而，作为在低 µW 范围内工作的音频传感器，该芯片可以为系统设计人员提供一个提高电源效率的宝贵选择。它还允许非常高的动态范围，因为尖峰在连续时间内运行，几乎可以无限远地分开或靠近。

语音识别

这项工作的一个关键部分是证明有用性。具体来说，硅耳蜗产生的事件流可用于实际应用，如语音活动检测、关键字识别的第一阶段。Liu 和她的团队通过使用事件输出创建 2D 数据帧成功地做到了这一点：到达峰值的直方图，按频率排列在帧的 5 毫秒内。称为耳蜗图，这些可以被读入神经网络并从那里解码它们的含义。

Liu 表示，“在传感器上使用深度网络对 IEEE ISSCC 社区非常感兴趣，并且考虑到当前对音频边缘计算的巨大兴趣，这非常及时。” 她说，已经有很多关于低功耗 ASIC 用于关键字定位的论文，但这些论文使用的是传统的类似频谱图的功能。她的目标之一是“展示混合解决方案（混合模拟信号设计）可以产生具有更低延迟响应的更低功耗设计解决方案。”

去年 INI 发布了一段视频，展示了系统识别数字的过程（你可以从大约 2:06 看到 Liu）。它远非万无一失，但它在系统开发中仍处于相对早期的阶段。多年来，包括 Minhao Yang、Chang Gao、Enea Ceolini、Adrian Huber、Jithendar Anumula、Ilya Kiselev 和 Daniel Neil 的团队也尝试了传感器融合：Liu 和她的同事结合音频和视觉信息进行分类更可靠[1]。他们一直在发布初始设计规则，以选择何时模拟传感器具有优势以及何时最好坚持使用数字传感器 [2]。

Misha Mahowald，地址事件表示的发明者之一，神经形态工程奖就是以他的名字命名的。

另一项持续的努力涉及提高 DAS 的电源效率和性能。其中一部分涉及查看各个功能的实现，从基于源跟随器的带通滤波器到模拟特征提取器的设计。

减少模拟电子设备中可变性的影响是另一个重要的研究领域。他们说，为了解决这个问题，他们构建了一个硬件仿真器，可以比使用 Cadence Virtuoso 等商业软件更快地测试这些问题。通过从软件而不是硬件训练他们用于分类的二元神经网络，他们能够准确预测一系列真实测试芯片的分类性能 [3]。他们现在正在考虑将噪声添加到系统中作为可变性的代理，以使设计过程更加稳健。

马霍瓦尔德奖

刘是神经形态工程的早期研究人员之一。她不仅在加州理工学院 Carver Mead 的实验室工作（Mahowald 曾在那里工作过），而且当该小组中的许多人离开加利福尼亚前往苏黎世时，她还是神经信息学研究所的创始人之一。

在获奖时，刘说：“我们非常荣幸能够获得这个奖项，尤其是在神经形态工程领域有这么多优秀的研究人员。这项工作建立在 Dick Lyon、Carver Mead、Lloyd Watts、Rahul Sarpeshkar、Eric Vittoz 和 Andre van Schaik 的数十年早期硅耳蜗设计的基础上。”

关于神经形态工程的重要性，她说：“即使在摩尔定律结束时，数字计算也将落后于生物学的能源效率至少一千倍。因此，DAS 等混合模拟电子系统的潜在效率变得比以往任何时候都更加重要。”

参考

[1] D. Neil 和 SC Liu，“Effective sensor fusion with event-based sensors and deep network architectures”，载于Proceedings – IEEE International Symposium on Circuits and Systems，2016 年 7 月，第一卷。2016 年至 7 月，第 2282-2285 页，doi：10.1109/ISCAS.2016.7539039。

[2] SC Liu、B. Rueckauer、E. Ceolini、A. Huber 和 T. Delbruck，“用于高效感知的事件驱动传感：视觉和试听算法”，IEEE 信号处理。麦格。, 卷。36，没有。6，第 29-37 页，2019 年 11 月，doi：10.1109/MSP.2019.2928127。

[3] M. Yang, S.-C. Liu、M. Seok 和 C. Enz，“使用受耳蜗启发的特征提取和 DNN 分类的超低功耗智能声学传感。”

[4] M. Yang、CH Chien、T. Delbruck 和 SC Liu，“用于事件驱动立体声音频传感的 0.5 V 55 μW 64 × 2 通道双耳硅耳蜗”，IEEE J. 固态电路，卷. 51，没有。11，第 2554-2569 页，2016 年 11 月，doi：10.1109/JSSC.2016.2604285。

审核编辑 黄昊宇