事件相机的工作原理和应用场景

电子发烧友网报道（文/李弯弯）事件相机最早诞生于1990年，那时候，许多研究人员探讨动物感知环境的方式，发现对变化更为敏感，所以设计出了实验室用的事件相机。2008年，诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。

事件相机的工作原理和优势

传统相机，无论是CMOS传感器，还是CCD传感器，亦或是RGBD相机，都有一个参数：帧率。它们是以恒定的频率拍摄获取图像。这样，即使帧率能够达到1KHz，那也具有1ms的延时。所以传统相机存在一定的延迟问题。

此外，传统相机需要通过一定时间的曝光，使感光器件积累一定的光子，那么在曝光时间之内如果物体在高速运动，则会产生模糊，这也是传统相机的一个问题。

另外，传统相机的攻台范围较低，具体表现为在光线极差或者亮度极高时，相机获取的信息有限。这些问题极大的限制了传统相机在一些应用场景中的应用。

而事件相机则可以很好的解决这些问题。事件相机，也称神经形态像机，或动态视觉传感器（DVS，Dynamic Vision Sensor)，是一种能够响应局部亮度变化的成像传感器。

事件相机不像常规相机那样使用快门捕获图像。相反，事件相机中的每个像素都独立且异步地运行，并在发生亮度变化时输出这些变化，否则保持沉默。

下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧：假设拍摄的是一个圆盘转动（圆盘此时逆时针转动一段时间然后停止）。右侧：上面是传统相机，圆盘停止时，标准相机输出不间断，然而这些信息其实不是我们关注信息。下面是事件相机，其输出信息为亮度动态变化的位置，并且当图片无变化时即为no events，无输出。

此前有业内人士对电子发烧友表示，基于这样的工作原理，事件相机有几个典型的特点：一是它的动态范围非常高，可以达到140dB；二是因为它只输出有效信息，不输出无效信息，它的数据量非常小；三是它的速度非常快，可以达到1/10000s，甚至更高。

因为这些特点，事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头，传统相机在面对横向的鬼探头场景时，无法快速做出反应，而事件相机可以更快感知到危险信号；再比如高速场景下的避障，车辆在高速上快速行驶时，遇到前方路面有一个轮胎，传统相机不能及时做出反应，事件相机可以依靠低时延优势，快速识别并做出避障的动作。

事件相机的研究企业和应用

目前，不少公司都在致力于事件相机的发展，包括iniVation、prophesee（普诺飞思）、索尼（收购Insightness）、芯仑光电（韦尔股份子公司）、锐思智芯（Alpsentek）等。

iniVation起源于瑞士，由基于事件视觉的发明者创立。该公司已经推出多款产品，热门型号包括：DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。

iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案，包括物联网（超低功耗监控和智慧城市）、自动驾驶（车辆测距、SLAM和乘员监控）、机器人技术（场景理解与定位）、工业视觉（过程监控和基础设施检测）等。

Prophesee于2014年成立于法国巴黎，专注于神经拟态视觉传感技术，目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉（Metavision）传感器可应用于手机、自动驾驶、工业自动化、物联网、AR/VR、医疗设备等领域。

比如在智能驾驶领域，Xperi旗下子公司DTS基于普诺飞思原视觉（Metavision）传感技术提供的事件数据，开发了基于神经拟态视觉系统的驾驶员监控解决方案（DMS），提供了更优的微光性能，以及新的检测功能，如眼跳或微表情检测等。再比如，高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器，采用了普诺飞思原视觉（Metavision）传感器，可扫描车辆周围半径为40米的区域，反应时间为3毫秒。

锐思智芯成立于2019年，拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队，核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累，在事件相机领域拥有超过8年的研究经验。

2021年10月，锐思智芯（Alpsentek）发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus（简称 ALPIX-P）。专为机器感知设计的传感器，可广泛应用于机器人、智能手机、无人驾驶、无人机、安防等场景。

ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术，即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换，实现事件相机与 CIS 相机功能 “二合一”。

在图像模式下，ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器，其图像质量与现有的商化的 CIS 输出的图像质量一致，兼容现有成熟的视觉系统。在仿生事件相机模式下，ALPIX-P 具有超高帧率，高有效信息占比，大动态范围的特点。

小结

事件相机的核心是神经拟态，神经拟态技术最早源于瑞士苏黎世联邦理工学院（ETH Zurich）。目前研究的企业主要有两个方向，一是传感器，即事件相机，就是文章提到的几家公司；另一个是神经拟态计算，主要是SoC芯片，如九天睿芯、时识科技。目前从两个方向来看，神经拟态在产品和应用上都有不错的进展。