基于SPAD的脉冲型人工视觉芯片更加接近人类视觉系统

人工视觉芯片是一种感算一体化的图像传感器，能够单芯片完成图像获取和原位实时智能图像处理等任务，是一种典型的边端型智能感知系统芯片。它可以被广泛应用于自动驾驶、敏捷机器人、智能无人机、混合现实和工业机器视觉等前沿邻域。目前的人工视觉芯片以多比特实数数据形式在片上进行图像信息的获取、表达、处理和传输，面临处理数据量大、深度神经网络计算复杂度高、电路复杂、片上存储开销大、处理延迟和功耗大等诸多的设计和应用挑战。

中国科学院半导体研究所刘力源研究员带领团队在脉冲型人工视觉芯片设计领域取得重要进展。团队创新性地设计了一款脉冲型人工视觉芯片，它集成了单光子脉冲型图像传感器和可重构脉冲视觉处理器，可实现视觉信息的获取、表达、处理和传输等全链路的信息脉冲化，更加接近了人类的视觉系统，为突破现有人工视觉芯片的瓶颈提供了一种新思路。



图1 脉冲视觉信号流

芯片采用单光子雪崩二极管像素（SPAD）天然地生成高速脉冲型图像信号，并采用神经形态脉冲计算范式直接处理单光子脉冲视觉信号，构建了一个如图1所示的低复杂度、低延迟的脉冲视觉信号流处理系统。脉冲型人工视觉芯片可实现二维灰度成像和三维深度成像，并灵活地重构为脉冲图像信号理器（ISP）或脉冲神经网络处理器，实现二维三维视觉融合智能化处理；同时，通过实时智能图像处理判断不同成像场景，可以反馈控制图像传感器的配置参数，提升成像质量。

测试结果表明，最高成像速率为每秒10万脉冲图像帧，动态范围高达100dB，具有二维三维融合的目标识别定位和光照自适应功能。图2和图3分别为芯片照片和测试结果。该项研究为体积和供电均受限的边缘视觉设备提供了实现低延迟多模视觉感算一体化高集成度片上系统芯片的新方法。



图2 芯片照片；图3 芯片成像测试结果（a）成像场景（b）二维测试结果（c）三维深度成像结果（d）0.3lx照度下的弱光测试结果

此项研究成果由半导体所助理研究员杨旭和刘力源研究员等共同完成。此项工作得到了国家重点研发计划和国家自然科学基金等项目的资助。

审核编辑：刘清