一种基于事件的堆叠式图像传感器

据麦姆斯咨询介绍，神经形态视觉传感是一种受生物启发的相机，可以捕捉场景中的活动，降低数据冗余和延迟。这些基于事件的传感器使机械的自主性更加接近现实，并在工业自动化、消费电子和自动驾驶车辆等领域基于视觉的高速应用中找到用武之地。

“为什么说基于事件的视觉传感器是神经形态的？因为每个像素都是一个神经元，把人工智能引入像素边缘完全有意义。”Yole首席分析师Pierre Cambou称。

最近几个月，沉寂多年的神经形态视觉传感产业似乎又重新回到了人们的视野。去年11月，三星为其移动和平板电脑应用的动态视觉传感器（Dynamic Vision Sensor， DVS）技术提交了商标申请。Pierre Cambou说，“这算是一个惊喜！因为三星最初市场化的动态视觉传感器主要用于汽车高级驾驶辅助系统（ADAS）。”

2019年12月，索尼悄悄收购了总部位于苏黎世的Insightness公司，该公司的视觉传感器即使在运动中也可以在几毫秒内实现运动检测。2020年2月，总部位于巴黎的Prophesee公司在完成2800万美元额外融资后不久，和索尼一起在美国旧金山举行的国际固态电路会议（International Solid-State Circuits Conference）上联合宣布，他们已经开发出一种基于事件的堆叠式图像传感器。

Prophesee基于事件的图像传感器的成像图片

神经形态传感起源于1991年苏黎世联邦理工学院（ETH Zurich）神经信息学研究所Misha Mahowald开发的“硅视网膜”技术。Mahowald解释称，“模仿人类视网膜，这种‘硅视网膜’通过从图像中减去平均强度水平，只报告空间和时间变化，从而减少了带宽。”这种灵感推动了动态视觉传感器背后的概念，使苏黎世联邦理工学院成为该技术的创新中心，并孕育了像Prophesee、Insightness等无数初创企业。瑞士创新公司iniVation也是其中之一。

iniVation开发的DAVIS346

这家总部位于苏黎世的初创公司由基于事件的视觉先驱们于2015年创建，他们开发了一种动态视觉平台，结合硬件和软件用于高性能机器视觉系统。iniVation的神经形态动态视觉传感器芯片DAVIS346模仿了人类视网膜的特性。只有在发生局部像素级的变化时才会进行传输，以微秒级的分辨率生成事件流，与传统的视觉传感器相当，但数据量却少得多。该公司声称，由于采用本地化处理，其功耗（最多减少90%）、数据存储和计算要求显著降低，同时还提高了传感器的动态范围（高于120 dB）。

iniVation通过300个客户的网络，与宾夕法尼亚大学（University of Pennsylvania）、苏黎世大学（University of Zurich）和美国国防高级研究计划局（DARPA）的研究人员合作开发了IBM的TrueNorth仿人脑芯片。这项研究的重点是无人驾驶飞机的自主飞行。

畅想智能制造

现代制造业正在发生一场无声的革命。机器自主和自动化相辅相成，大量制造自动化的发展背后是机器视觉。与简单的传感器不同，机器视觉传感器会产生大量的数据以识别有缺陷的系统，了解它们的缺陷并进行快速干预。其结果是节约的成本和提高的生产率。

iniVation称，其动态视觉平台适用于工业视觉，可实现基础设施的高速3D扫描，用于预测性维护、高速生产检测、颗粒、荧光成像显微镜以及人体运动分析。换句话说，它能够以高速度、高精度和高一致性执行普通或复杂的重复任务。

“我们花了一段时间才找到一个好的策略。”iniVation首席执行官Kynan Eng说，“很多公司可以提供高速计数，由于传统相机可以实现每秒1000帧甚至更高，所以高速计数并不是根本。如果应用不需要即时响应，那么，使用我们的传感器就没有什么意义。”

对于iniVation传感器应用，关键的是延迟而不是数据吞吐量，iniVation的传感器具有快速响应时间，例如一个不断移动执行任务的机器人，它需要实时调整它的路径。如果调整得越快，它就能移动得越快，同时检测自己错误的速度也越快。

“在我看来，工业视觉是一个相对低风险，但市场规模也低的市场。”Eng说。因此，风险投资基金很少有兴趣。着眼于有机增长，iniVation正在考虑规模经济。通过2019年与三星（Samsung）的合作，iniVation从制造和芯片销售转向对机器视觉行业销售相机。“你可以卖100美元的芯片，也可以把它装在相机里，卖1000美元的相机。”Yole分析师Cambou指出。

通过转向系统级产品，iniVation正在往高价值链上拓展。

“我们认识到，只成为一家芯片公司没有意义。”Eng说，“我们可以融资10亿美元，但这仍不足以自己制造芯片。客户一直问我们，为什么我们的相机价格昂贵，如何才能让它们便宜。与三星合作，就是问题的答案。”

对产品质量的高要求，推动了食品、包装、消费电子、航空航天以及汽车行业的机器视觉。Eng说，iniVation的目标是进入更大的市场。

移动领域空间巨大

基于事件的相机只传输强度的变化。它们不会受到运动模糊的影响，延迟时间约为微秒级。加上很高的动态范围和很低的功耗，使基于事件的相机非常适合虚拟现实和增强现实应用（VR/AR）。“这是一个巨大的潜在市场，不过，现在还不知道什么时候会真正起量。现在，它是一个利基市场。”Eng说。

基于事件的相机也可以应用于移动设备。“重点在于说服手机制造商在手机背面再增加一颗传感器。”Eng说。最初，iniVation和其它基于事件相机的厂商只生产使用DVS像素的相机。Eng补充说：“这些特性有利于应对高速变化，但在很多情况下，人们只是想自拍或者给美食拍照。几年前，我们开始开发一种兼具基于事件像素和正常像素的传感器。用户可以拍摄普通照片，进行普通处理，但对于特定的用例，用户会用到我们基于事件的像素。”

因此，手机制造商不必做出非此即彼的决定，并能维持同样水平的价格。

Cambou说：“手机市场或将在2021年~2022年前后开启。现在，我们已经在华为手机的背面看到了5颗摄像头。除了‘永久在线’的神经形态相机，我想不出再下一颗摄像头还有谁。有人会说‘多光谱相机’，但我认为更多的可能是让智能手机始终保持‘意识’。基于事件的相机可以实现无接触的交互，如锁定和解锁手机。”

与Prophesee和索尼的合作一样，和三星的合作为iniVation在智能手机市场上提供了一条新的发展道路。Cambou说，一如既往，这是一个如何落地的问题。“永久在线意识已经提出好多年了，但现在的问题是如何实现它。这取决于应用，以及在客户体验方面可以提供哪些改善。”

为汽车提供智慧双眼

基于事件的相机很节能，因为像素活动微不足道；对于“静默时”的像素几乎不需要能量。这是一个卖点，因为自动驾驶汽车正从内燃机向电动引擎过渡。对于汽车公司来说，功耗比最初认为的要重要得多。Eng说，“在目前的电动汽车设计中，如果一辆汽车以恒定速度使用4 kW的总功率预算，那么其中一半会用于推动汽车，另一半则要用于计算。计算环节省下来的每一瓦特电能，都可以延长汽车的续航里程，或者使用更小的电池。”

iniVation的动态视觉传感器平台能够在恶劣的照明条件下实现车辆量距、高速即时定位和地图绘制（SLAM）以及自动驾驶辅助。“随着处理技术的发展，自动驾驶汽车的前景将会越来越明朗。”Eng说，“我们将提供一种混合传感器，它将同时具备帧速和基于事件的传感能力，这样汽车制造商就可以继续使用它们已经投入数十亿美元开发的产品。”

传感器是解锁自动驾驶的关键。Cambou表示，这些传感器会产生大量的数据，系统将严重受限于处理能力。更多的摄像头和随之而来的更多数据意味着“计算爆炸”。一个解决方案是提高数据质量。Cambou 补充说，“真的要解决自动驾驶问题，就需要更多类型的传感数据，例如激光雷达、热像仪和高光谱相机等。我认为汽车厂商也应该考虑基于事件的相机。”

神经形态工程的潜力仍有待开发。Yole称，到2029年，神经形态半导体、传感和计算将成长为71亿美元规模的市场。如果在未来4~5年内可以解决所有技术问题，神经形态计算市场将从2024年的6900万美元增长到2029年的50亿美元，以及2034年的213亿美元。神经形态传感市场将从2024年的3400万美元增长到2029年的20亿美元，以及2034年的47亿美元。