基于图像传感器主动感知真实世界的设想

2月6日，上海保隆科技有限公司（保隆科技）联合上海芯仑光电科技有限公司（芯仑科技）、武汉大学共同发布的汽车动态传感器（DVS，Dynamic Vision Sensor）正是基于图像传感器能否像人眼一样主动感知真实世界这样的大胆技术假设。

如果我们希望人工智能像人一样思考，那么图像传感器能否像人眼一样主动感知真实世界？

2月6日，上海保隆科技有限公司（保隆科技）联合上海芯仑光电科技有限公司（芯仑科技）、武汉大学共同发布的汽车动态传感器（DVS，Dynamic Vision Sensor）正是基于这样的大胆技术假设。传统图像传感器基于帧的概念，原理性的缺陷导致运动信息缺失、海量无效数据、非结构化数据输出，从而带来巨大的数据传输和存储压力、运算资源的浪费、系统整体能耗和成本的上升、以及稳定性的缺陷；DVS采用新型的仿生原理图像传感器芯片，全时全速追踪运动物体，有效过滤冗余背景信息，输出运动物体的结构化场景信息，实现感知端预处理，减轻后端信号处理算法的复杂度，并使用更低的计算资源处理器来实现实时处理能力。保隆科技将其形容为“超眼”。

低数据流，剔除冗余数据：道路两边静止的车辆和建筑（非动态数据）“消失”

DVS为L4、L5高级别自动驾驶感知系统提供了一条新的技术路线。国际上开发DVS的代表性公司包括瑞士的Inilabs、法国的Prophesee以及三星，此次保隆发布的DVS 属于自主研发，集成了芯仑科技的芯片技术和武汉大学的算法技术。相比于保隆科技当天发布的77G及24G毫米波雷达、双向前视系统、红外热成像夜视仪、驾驶员预警系统、车用人脸识别系统等产品，保隆科技汽车电子单元总监李威表示，DVS是保隆科技“引领战略”下的传感器产品，是保隆科技的技术创新，也是自动驾驶行业的技术创新。

据芯仑科技联合创始人、CTO陈守顺博士介绍，此次发布的DVS核心技术是模仿人眼视神经，以事件为驱动原理，可如人眼一般主动看世界：

· 无固定观察频率

· 灵敏响应速度

· 脉冲式信息读取和输出

· 像素电路间并行处理

· 主动特征提取，无多余背景信息

每个像素电路独立检测光强水平，无需曝光，不受帧率约束。当光强发生变化时，便以极快的反应速度（5纳秒）输出一个包含（X、Y、A、T）的事件（event）数据。

进出隧道瞬间，不受光照强烈变化影响，仍可捕捉路面信息

尤需指出的是，该DVS可实现多种模式同时输出：

图像模式（Picture Mode）：与传统图像传感器一致的全副图像，兼容传统图像处理算法和硬件。

动态模式（Motion/Event Mode）：动态特征脉冲信号通过自然光强变化的判定输出二值化的动态特征区域信息（X、Y、A、T）。

光流模式（Optical Flow Mode）：独有的密集光流模式，无需降维，从芯片上得到光流向量场信息。

高架上行驶，完整捕捉道路标线和交通标识

自动驾驶、尤其是L4、L5高度自动驾驶，面临大量对实时和高速处理要求高、算力不可达的场景，以及一些边缘性场景（Corner Case），基于上述原理和核心技术，DVS动态视觉传感器有能力解决。比如特斯拉Model S将卡车误判为白云、Uber自动驾驶车辆夜晚撞死横穿马路的行人、以及自动驾驶车辆进出隧道光强变化等场景。保隆科技汽车电子单元总监李威表示，他们将特别选取一些场景，在封闭测试场内对DVS的性能开展测试。

极暗场景下，也可清晰显示部分物体的移动

据李威透露，当前保隆科技已完成DVS摄像头本体、处理器平台的研发集成工作，正在进行运算平台的优化，预计今年底可完成，明年将提供标准化的产品，进行小批量的量产。今年将为包括商用车、乘用车、特种车辆的合作伙伴提供定制化产品，进行装车试用。宇通客车是保隆DVS的重要合作伙伴，宇通汽车智能研究院副院长彭能岭博士出席发布会，对DVS在自动驾驶领域的应用前景、以及与保隆的合作研发均充满希望。