传感器接棒计算任务，AR眼镜的出路？

一般来说，低功耗的物联网设备如果涉及到复杂的运算，都需要将传感器的数据上传到的云端处理，所以搭载的主要芯片为通信和控制芯片；至于边缘处理需求不大的物联网设备，所需的MCU性能也不会太高，足以完成寻常的传感器数据计算。此外，传感器与计算单元之间的数据移动也进一步增加了能耗和延迟。

随着工艺对能耗比的提升逐渐变得有限起来，处理器能提供的助力越来越小，但时值缘AI兴起之际，有的公司开始将目光望向传感器，思索如何在这上面做文章。因为明眼人都可以看出，在电子设备小型化的进程上，我们已经遇到了瓶颈，不少产品形态苦于计算而束手束脚，连苹果自己都开始堆芯片面积来提升算力，更不用说穿戴设备了，尤其是AR/VR产品。

AR/VR设备的传感器内计算系统

就拿此前被炒热过一阵的智能/AR眼镜来说，这一产品形态给了消费者不少遐想，但到手体验后多半以失望告终。以Meta不久前和雷朋合作的一款智能眼镜为例，这一产品根本称不上智能，充其量算作一个用于社交分享的硬件而已，并没有什么计算能力。这是因为这类智能眼镜计算单元可以少，但传感器却少不了，摄像头、麦克风和扬声器等都是该硬件的重要组成部分。但没有CPU、GPU、AI加速器这些计算单元，智能/AR眼镜只会被视为名不副实。

在坚定AR/VR道路的Meta看来，半导体上依然面临着不小的挑战。早在2020年，Meta就提出了AR/VR半导体面临的多重挑战，比如能耗比要做到如今的100倍、靠近皮肤的散热问题、无线传输的带宽问题以及如何做到高算力和低延迟。

解决方案分为三个维度，比如先进封装上，需要用到定制接口、异构集成和3D封装，而内存上需要尝试STTRAM、PCM和RRAM等新型内存，CMOS工艺也将从FinFET逐渐演进到5nm、GAA。然而这些解决方案中有的已经被证实可行，有的还在试验阶段。

分布式的传感器内计算系统 /Meta

Meta现实实验室的研究科学家Jorge Gómez提出了一个新思路，那就是打造传感器内的计算系统。首先需要的就是一个分布式的计算系统，集成了传感器内处理器的智能图像传感器对数据进行预处理，再通过MIPI接口传给聚合器。如此一来不仅减小了功耗和延迟，还大大提高了隐私安全。

智能图像传感器 / Meta

这个智能图像传感器采用了3层结构，分别是CIS、ADC和AI，通过μTSV或混合键合这样的3DIC技术集成在一起，至于AI层的存储，则选择低漏电高密度的MRAM来进一步减小功耗。

与传统中心化传感器计算系统的对比 / Meta

这样就得到了一个降低功耗的分布式传感器内计算系统，从模拟结果图中可以看出，在应用处理器与传感器内处理器都选用7nm工艺的情况下，分布式计算系统要比传统的中心化计算系统功耗低上24%，即便后者换为16nm工艺，功耗依然获得了减少。从这一模拟结果来看，这种思路是完全可行的。但如果想要做到百倍的功耗比，这样的提升还远远不够，何况传感器依然是这套系统中耗电大头。

省去冗余的数据移动

对于近传感器计算和传感器内计算来说，省去冗余的数据移动可以说是对功耗和延迟最关键的一步。如果模拟传感器可以直接处理模拟信号，ADC和计算单元的负担都要小上很多，AIStorm公司的MantisAI传感器SoC就是一个很好的例子。

CMOS/CCD在记录信息时，每个像素产生的电荷量就是接收到的光子数量，也就是明暗信息。而Mantis作为一个成像芯片，可以直接以原生电荷的形式接收像素数据，对人体、面部或物体进行基于图像的唤醒。根据AIStorm的说法，Mantis可以实现最高1000 TOPS/W的算力，50000FPS的成像帧率，始终开启的情况下可以做到5uA以下的功耗，近乎忽略不计的延迟。

Mantis人体识别演示 / AIStorm

不过，从Mantis的人体识别演示视频来看，这类芯片目前还存在一些不成熟的地方，比如无法替代其他常见的图像传感器，只能用于基于事件的智能唤醒，比如人从镜头前走过等；而且在成像的过程中，单凭模拟数据还是无法一些分类和识别的工作，比如同一个人再次走过对其来说依然是个新的对象。再者，TOPS/W这样的单位对这类模拟计算芯片来说有着天然的优势，正如与之类似的存内计算等模拟计算一样，它们往往计算精度不高，但低位数与高位数的乘积累加运算又不可相提并论，所以按运算次数来衡量性能并不是一个准确的对比方法。

话虽如此，这类在传感器上集成模拟AI方案依然有它的定位，像语音唤醒、图像唤醒等应用，它们在功耗、成本上有着极大的优势，而这种唤醒方案可以显著减少AI硬件的整体功耗，所以依然不可小觑。