基于像素处理器阵列（PPA）器件的最先进的智能相机系统

用于敏捷自主机器人的视觉处理需要在有限的功耗和空间预算内完成低延时计算。这对传统计算硬件来说是一项挑战。并行处理器阵列（Parallel processor arrays）是一种新型视觉传感器架构，该阵列利用半导体技术的进步，在图像传感器阵列的每个像素中嵌入了处理器。感测到的像素数据可以直接在焦平面上进行处理，因此只有少量的相关信息从视觉传感器传输出去。这种在大规模并行计算架构中的传感、处理和存储的紧密融合造就了机器视觉系统在高性能、低延时、低功耗、低成本与多功能性之间的有趣权衡。

据麦姆斯咨询报道，近日，英国曼彻斯特大学（The University of Manchester）与英国布里斯托大学（University of Bristol）的研究者共同合作在Science Robotics发表了以“Sensor-level computer vision with pixel processor arrays for agile robots”为主题的综述论文。该论文通讯作者为曼彻斯特大学电气工程与电子系的Piotr Dudek。

这项研究首先从像素内计算的角度回顾了图像传感器和处理硬件的历史；然后，通过对SCAMP-5系统的描述，概述了基于像素处理器阵列（PPA）器件的最先进的智能相机系统的关键特征；随后，描述了多种关于敏捷地面和空中飞行器的机器人应用，证实了PPA的传感功能，这些应用包括高速里程计、目标跟踪、障碍物探测和避让。最后在结论中，该研究对PPA器件的未来发展提供了一些见解和展望，包括其在敏捷、稳固、强适应性和轻量级机器人中的应用及优势。

典型视觉系统方法的比较

在传统的视觉系统（如上图A所示）中，通常利用相机中的图像传感器来获取视觉信息、生成视频帧并发送至处理硬件。尽管在提升此类硬件的速度和效率方面的相关研究不断取得进展，但其发展的根本限制来自于“传感器-处理器”的瓶颈。在此过程中，大量的视觉数据被采集、数字化，然后从相机端发送至处理器，然后在整个处理系统中完成运算。这样会大幅限制系统延时和功耗降低。

为了克服这种限制，需要将数据处理转移到更靠近传感器的位置（如上图B所示）。这样视觉传感器的作用不仅仅是获取视觉信号，而是还要对信号进行处理、产生有意义且高度压缩的信息，来替代原来的视频帧。由此产生的传感器级别的数据缩减，不仅加快了数据传输速度，而且降低了对下游计算硬件的要求。为了实现该目标，近传感器处理硬件需要提供高计算性能和低功耗的组合。处理电路通常是并行数字信号处理单元或更专业的硬件。将感知和处理保持在近距离，可以实现更大的“传感器-处理器”带宽，并降低与远距离信号通信相关的功率。这显然是有利的，但将单独的传感器和处理器电路放在一个器件上的好处仅仅在于可以实现传统视觉传感器的小型化；从根本上讲，“传感器-处理器”的瓶颈仍然存在。而如今的微电子技术可以通过重新设计像素级传感器电路来彻底消除这种瓶颈。本研究中使用的方法已超越了图像传感器和处理器的共置：它将计算硬件放在图像信息获取的位置，进入了图像传感器像素本身（如上图D所示）。

图像传感器中的像素级电路

像素内处理的概念可以更进一步，通过在图像传感器中每个像素内集成完整的可编程处理器核心，可显著提升器件的复杂度和灵活性，这类器件被称为像素处理器阵列（PPA），如下图所示。

像素处理器阵列（PPA）

研究中的SCAMP-5系统如下图所示。其中的核心PPA功能是由定制型集成电路提供，但SCAMP-5视觉芯片、大多数外围组件（如微控制器、FPGA器件、ADC和DAC等）均使用组装在印刷电路板上的现成电子器件来实现。这将大幅增加整个相机系统的尺寸和功耗，可能会限制部分实际应用，但提供了易于使用的研究原型。

SCAMP-5智能相机系统

该SCAMP-5阵列的显著特点是其全局和基于事件的读取模式。虽然图像处理的结果读取为二进制或灰度图像帧，这通常在程序开发/调试阶段完成，但PPA最强大的特点在于可以在像素内部完成处理图像，只有计算的结果才会从传感器器件输出。下图列举了SCAMP-5系统执行的几种基本算法及其执行时间，如卷积滤波器、角提取和光流计算等基本的像素并行操作在PPA中很容易实现。

在SCAMP-5 PPA上执行的多种图像处理算法

这项研究还介绍了完全可编程PPA器件在敏捷机器人系统中的应用。常见应用主要有：敏捷目标跟踪和探测（Agile object tracking and detection）、传感器视觉里程计（On-sensor visual odometry，VO）、绘图测绘和定位（Pictorial mapping and localization）。

PPA方法的关键是在像素级完成信息提取和数据压缩，从而实现了从传感器器件到系统其余部分的高效、高速信息传输。传感器生成的稀疏数据类型需要针对每种应用进行优化。对此有希望的解决方案是优化从传感策略到主机级处理的整个流程。同时，PPA器件不仅能处理图像数据，还能影响光传感本身（例如每个像素中的可编程曝光级别）。

除了前文提到的三大应用外，另一方面的应用是人机交互，在低延时注视跟踪和手势识别方面有潜在的应用。PPA器件的应用已超越了机器人系统，可扩展到更通用的计算机视觉应用领域，随着微电子芯片集成和封装技术的改进，该领域有望继续取得进展。PPA还可以在发展更好的隐私感知系统中找到机遇，这类系统可以智能地关注从PPA输出的数据。因此，可以预测，基于PPA的视觉传感器能够以高时间分辨率、低延时和低功耗来产生高信息量的稀疏数据，将越来越多地应用于各种未来的机器人系统。

这项研究工作获得英国工程和物理科学研究委员会（Engineering and Physical Sciences Research Council，EP/M019284/1(P.D.)和EP/M019454/1 (W.M. and T.R.)）的资金支持。

论文链接：
https://www.science.org/doi/10.1126/scirobotics.abl7755

审核编辑 ：李倩