Prophesee：基于EVS打造机器视觉新范式

电子发烧友网报道（文/吴子鹏）机器视觉起源于20世纪50年代。近几年，随着边缘智能需求爆发，机器视觉发展换挡提速。根据前瞻产业研究院的统计数据，2023年全球机器视觉市场规模约为130亿美元，预计2024-2029年将以20%左右的年复合增长率高速增长，到2029年市场规模达到近400亿美元。

在机器视觉应用快速增长的过程中，传统基于CMOS传感器、CCD传感器或RGBD的相机，在捕捉场景中的运动变化，以及无“事件”发生时的功耗等方面遇到了一定的瓶颈，EVS（基于事件的视觉传感器）成为打造机器视觉应用的新选择。

在2024中国（上海）机器视觉展暨机器视觉技术及工业应用研讨会（VisionChina（上海）2024）上，Prophesee销售总监高喆敏在接受电子发烧友网记者采访时表示，传统相机有一个重要指标是帧率，也就是通过每秒捕捉一些静止帧来表现运动，并不具备动态捕获的能力 ，由于传统相机受限于曝光时间，所以无法捕捉每一帧之间的信息的，这与人眼的工作原理是完全不同的。EVS则是模拟人眼感知光的原理，我们设计了像视网膜感光细胞一样工作的像素，EVS中所有的像素都是独立和异步的，所以它们只会在场景发生变化时做出反应，上报事件即event。这样的工作原理让它兼具：超高速、小数据量、低功耗等优势。

高喆敏强调，在EVS相机中，每个像素只在感觉到运动时才被触发，且每一个像素都是完全独立的。当像素捕捉光的亮度超过阈值后就会被检测为事件，然后输出事件像素的坐标、时间和极性信息。和传统相机相比，EVS相机能够捕获的信息不会逐帧到达，也就不存在帧与帧之间的损失。由于EVS的像素不是同步而是异步的，因此时间域上是非常稠密的，Prophesee已经量产的传感器芯片可以等效每秒10000帧的传统传感器。并且，每个像素只有在被触发时才会记录，数据量是非常小的，并不需要很高的处理器性能和传输带宽，功耗低是EVS天然的优势。

在VisionChina（上海）2024上，Prophesee展示了多款基于EVS相机的demo，包括颗粒检测、振动监测、运动捕捉，以及采用ST MCU和AMD芯片打造的高级应用。

基于EVS的振动监测

Prophesee演示了基于EVS相机的振动监测应用。传感器可以监测马达和电刷的振动，打造一个非接触式的解决方案。然后通过软件界面上的数据，就可以准确获取到电机系统每一个部分的振动情况，当检测到振动数值超出设定数值后，系统就会报警。在演示案例中，Prophesee的方案能够覆盖1Hz到kHz范围的振动范围，提供1个像素的精度。



高喆敏谈到，由于EVS相机在时间域上是非常稠密的，通过跟踪场景中每个像素的时间演变，能够连续远程监控振动频率，具有像素精度。因此，EVS相机在工业设备检测上不会丢失关键信息，这是一个非常大的优势，有助于实现更好的设备维护。

基于EVS的运动检测

Prophesee还演示了基于EVS相机的运动检测应用。通过XYT查看器可视化事件数据，揭露物体在时间和空间上连续变化的信息。如上所述，在这个应用中，EVS相机可以揭示帧与帧之间的不可见内容，并且可以放大时间，了解场景中的细微运动。



针对运动检测应用，高喆敏说，EVS在捕获运动信息时，不会呈现传统相机提供的色彩、纹理和灰度值等信息，只能看到物理运动的边缘信息，这个边缘信息在时间戳上是非常稠密的。之所以能够做到这样连续的边缘信息输出，得益于EVS另一个显著的特征：快，通过快速捕获动态信息的变化，克服了传统相机在拍摄高速运动物体时掉帧的问题。

基于第三方计算芯片打造的高级功能

Prophesee也展示了基于第三方计算芯片打造的高级功能。比如，在基于成本优化的MCU平台上演示数据流、以及端到端延迟事件处理实验。这个demo选择的就是市面上非常常见的ST MCU。



基于ST MCU的demo演示专为嵌入式应用设计，提供320×320 像素采用1/5光学格式，像素延迟@1k lux <150μs，动态范围为>120 dB。这个demo的典型应用场景包括：

·AR/VR/XR和可穿戴设备
·眼动追踪
·手势识别
·IoT和智能家居
·边缘AI算法和机器学习
·Always on cameras
·医疗健康（保护隐私）摄像头

高喆敏表示，在这个demo里Prophesee的EVS传感器提供超低功耗模式，相关应用的能效表现会非常好。在方案设计上，EVS相机不需要传统相机所需的ISP模块，能够进一步降低方案成本。

另一款demo是Prophesee携手AMD推出的业界首款兼容 Kria™ KV260视觉AI入门套件的事件视觉解决方案，专为高级视觉应用开发而构建，无需开发者拥有复杂的硬件设计知识或 FPGA 编程技能。



该套件中包含一款突破性的即插即用主动光通信（Active Markers Tracking）应用程序，支持>1,000Hz的3D位姿估算（3D pose estimation），能够在像素级别上完全消除背景干扰，同时在复杂的照明条件下提供极高的鲁棒性。该款应用程序展现了Prophesee Metavision 事件视觉技术的独特功能，为实现一系列全新的超高速跟踪用例提供了助力，如游戏控制器跟踪、建筑工地安全、重载防摇摆系统等。

产品迭代和资源支持

在产品迭代上，目前Prophesee已经发布第五代EVS传感器。第四代产品的空间分辨率是1280×720，是一个百万像素级的产品。第五代产品的空间分辨率是320×320，是一个十万级像素的产品。两者之间的目标应用有明显的差异。同时，为了进一步体现低功耗的属性，第五代EVS传感器提供超低功耗的模式，可以分区感受环境的变化，打造目前热门的“always on”应用。高喆敏称，在超低功耗模式下，Prophesee第五代EVS传感器的功耗是微瓦级的。

为了帮助开发人员更好地运用EVS相机打造机器视觉应用，Prophesee不仅是提供传感器，也提供配套的开发资源，包括开发板和SDK等。同时，Prophesee也在积极筹建和运营EVS技术社群，让更多开发人员了解和参与到EVS相机的生态建设中。

结语

EVS相机的出现，解决了传统相机每一帧捕获的信息并不存在动态信息，且每一帧之间的信息无法被捕捉的痛点，以模仿人眼的机制构建了一个机器视觉的新范式。EVS相机不仅能够连续捕捉动态信息，且天然具有低功耗的特性，加上非常小的数据量传输，能够显著降低机器视觉的硬件门槛，让更多应用受益于这项先进的技术。