Prophesee为AIoT应用重塑 DVS 摄像头

Prophesee基于事件的摄像头适用于始终在线的物联网设备。

动态视觉传感器 (DVS) 公司 Prophesee 已将其基于事件的摄像头调整为适合始终在线的 AIoT(物联网人工智能)设备的外形尺寸。与该公司的 100 万像素第四代传感器相比，第五代 GenX320 将其分辨率降低到 320 x 320 像素，芯片尺寸减小到 13mm2，现在包括标准数据格式，便于下游处理和超低功耗模式的层次结构，可用于唤醒系统的其他部分，Prophesee首席执行官Luca Verre告诉EE Times。

“[基于事件的传感器]技术现在正在消费领域开辟一个机会，一个更大的生态系统正在意识到这项技术并有兴趣采用它，”Verre说。“但三年前，我们发现了不一定适合我们的第四代传感器的其他机会。这就是我们开发第五代产品的原因，适用于出于成本、功耗和集成原因需要非常小的传感器设备的应用。

DVS传感器等基于事件的传感器基于人类视网膜的生物学特性：它们只输出像素亮度的变化，而不是完整的图像帧。这会以低延迟生成低带宽数据，但其中包含有关场景的足够信息。处理这种低带宽数据所需的计算量较小，这意味着可以节省功耗。该技术对弱光条件也具有很强的适应能力。

Stanley Electric 的 IR LED 和 VCSEL 如何为高性能驾驶员监控系统做出贡献

Prophesee 与索尼合作设计的上一代传感器于 2021 年底开始量产。这款高清传感器是一款 BSI(背照式)3D 堆叠芯片，体积小到足以首次针对消费电子产品。

Prophesee一直在与高通公司合作，展示这款采用骁龙移动处理器的传感器。Verre表示，至少有两家OEM厂商正在为2025年发布智能手机，其中包括Snapdragon和Prophesee的组合。这里的用例是融合全画幅和事件数据，以提高智能手机相机的图像质量。使用 Prophesee 传感器检测照片中的运动，然后使用 Prophesee 的计算摄影算法进行校正，可以减少运动模糊。

GenX320 具有更低的分辨率、更低的功耗和更小的尺寸，将针对 AR/VR 头戴式设备、安全和监控/检测系统、非接触式显示器、眼动追踪和其他始终在线的物联网设备。然而，虽然该传感器仍采用BIS 3D堆叠设计，但并非与索尼合作开发，而是将在不同的代工厂制造。

“我们与索尼的关系非常好：我们共同开发了第四代传感器，我们还与索尼达成了商业协议，共同进入市场，”Verre说。“因此，这种合作关系正在进行中，但第五代传感器由Prophesee设计，由我们的代工合作伙伴制造，并由我们销售。[第四代和第五代]传感器在市场定位方面完全不同，针对非常不同的用例，传感器分辨率不同，因此它们是互补的。没有重叠，这使得我们与索尼的上市战略非常简单。

接口和电源模式

Prophesee联合创始人兼首席技术官Christoph Posch告诉EE Times，GenX320有几个关键的新功能与边缘人工智能和物联网应用有关。

他说：“我们(以前)有一种非常规的数据格式，没有人真正知道该如何处理——对事件中的动态视觉信息进行编码，没有人理解。“我们的数据速率是非恒定的，没有标准的数据格式或接口。我们意识到所有这些事情都减缓了这项技术的采用。这就是为什么我们认为，'我们需要设计一种更实用的传感器，可以集成到边缘AI视觉系统中，并帮助潜在客户真正使用该系统'。

Prophesee 的 GenX30 芯片，传感器芯片在顶部，处理器在底部。ESP是指数字事件信号处理流水线。

GenX320 包括片上预处理功能，可根据需要将数据重新格式化为行业标准格式，并提供三种接口选择：

高带宽MIPI接口与应用处理器连接，并使用完整的数字流水线在流式传输之前对数据进行预处理和过滤。

CPI 接口 (DCMI) 与低延迟应用中的微控制器连接。数据可以聚合成 2D 直方图，以便进行 AI 处理。

Prophesee现有的AER(地址-事件表示)接口完全绕过了数字预处理管道，用于神经形态和脉冲神经网络加速器。

GenX320 还包括低功耗模式的层次结构。最低功耗模式用于始终开启的活动检测，功耗约为 36 μW。完全有源模式在CPI接口上的功耗约为3.5 mW，在MIPI接口下功耗约为20 mW。

Posch说：“我们可以向上爬到功率模式，实现更高的分辨率和更智能的检测，最高模式，在该模式下，所有事件数据的输出接口都完全流向应用处理器。“在[最高和最低功耗模式]之间，我们可以在这些功率模式之间循环，这取决于场景中发生的情况。

这些模式使用一种称为全局对比度检测器 (GCD) 的新功能，该功能可检测移动、进入或离开视野的物体。像素阵列被细分为多个区域，这些区域可以小至 4 x 4 像素。Prophesee 使用阵列中每个区域中光电二极管的光电流总和(以硬件计算)来检测该区域中的活动。对于最低功耗模式，有九个检测区域;其效果就好像在总共 100,000 个像素中只有 9 个被打开，因此可以节省大量电量。

RISC-V CPU 还可用于对灵活的感兴趣区域进行编程，最多可同时对 12 个感兴趣区域进行编程。

全局对比度检测 (GCD) 是一项新功能，可将阵列分解为多个区域以节省功耗。这些区域中的活动检测可用于唤醒系统的其他部分。

商业牵引力

GenX320 传感器已经掌握在 20 多个主要客户手中进行原型设计。

Zinn Labs 使用 GenX360 开发了一种用于 AR/VR 眼镜的基于事件的眼动仪，它产生的数据比全画幅相机少 100×。这意味着眼动追踪可以在1 kHz或更高的频率下完成，比全画幅相机设置快10×。快速眼动追踪的应用之一是注视点渲染：我们的眼睛不会同时聚焦整个场景，因此，如果我们知道眼睛在看哪里，有选择地渲染我们正在看的部分可以节省计算量。Verre表示，Zinn Labs正在与客户合作，明年开始大规模生产Prophesee GenX320传感器。

英国初创公司 Ultraleap 一直在将 GenX320 用于用于非接触式人机界面的手部跟踪系统。Verre说，照明条件对于这种应用来说可能具有挑战性，但Prophesee传感器具有高动态范围(高于120 dB)。

消费电子公司Xperi已经拥有使用Prophesee上一代传感器的驾驶员监控系统，现在它正在考虑将GenX360用于智能设备和家用电器。台湾原始设备制造商 YunX 计划明年推出一款保护隐私的 GenX320 跌倒检测系统。

Verre表示，Prophesee将在未来几周内展示GenX320和用于边缘AI的STM32微控制器，随后将推出更多具有不同类型处理器的参考设计。GenX320的产量将在明年上半年增加。

审核编辑：彭菁