边缘AI芯片正在数倍百倍地卷

电子发烧友网报道（文/周凯扬）边缘计算从始至终都是一个让业界苦思冥想的问题，与云端计算这种集中式结构不同，边缘计算的分布式结构杜绝了“齐心办大事”的可能性。而且并非将体积依然不可小视的计算服务器部署在边缘端，就能解决边缘计算的一切要求，尤其是在边缘AI需求持续高涨的当下。

根据IDC的统计，到了2025年全球互联设备将达到416亿台，与此同时边缘传感器收集的数据将达到79.4ZB。在这么庞大的量下，边缘AI提出的要求却是高性能、低功耗，挑战确实不亚于手机SoC的开发了。即便如此，雨后春笋一般冒头的AI芯片公司还是在挑战“卷”的限度。

软件定义的边缘AI加速器

平时留意RISC-V动向的小伙伴们应该有所耳闻，3月中旬IP厂商Alphawave花了2亿美元收购SiFive旗下OpenFive。然而同样在3月，在收购之前，专注于高速连接SoC IP的OpenFive宣布了与AI初创公司EdgeCortix的合作，共同打造下一代的边缘AI加速器。

在软件定义的AI加速中，灵活度最高的还得属通用CPU，但一谈到能耗，就有些相形见绌了，与较为专一的GPU相比，从性能和能效上都有一定差距。然而GPU虽说能效高于GPU，但放在边缘端动辄几百瓦的功耗又太夸张了，因此特定领域的AI加速器虽然牺牲了一定的灵活性，但做到了最高的能效比，也因此被边缘AI所看重。

在这一理念下，EdgeCortix推出了动态神经加速器（DNA），一个运行时可重构的特定领域加速器设计，用于低功耗的实时AI推理应用，既可以部署在FPGA上，也可以部署在自研设计的ASIC芯片上。

SAKURA，正是基于该设计打造的一款高能效的边缘AI协处理器。与部分AI芯片不一样，SAKURA并没有选择5nm之类的先进工艺，而是选择了12nm的成熟工艺。在800MHz的频率下，SAKURA可以达到40TOPS的算力，在多芯片组合下更是可以达到200TOPS，搭载该芯片的PCIe板卡典型功耗只有10W到15W。

SAKURA与AGX Xavier的面积对比 / EdgeCortix

只谈性能不谈规模是毫无意义的，AI芯片厂商最喜欢拿来对比还是英伟达的各大GPU，这不，EdgeCortix也选择了同用台积电12nm工艺的英伟达AGX XavierGPU来进行对比，可以看出AGX Xavier的面积近乎是SAKURA的四倍，在算力上依然比后者低上25%，两者能耗相差不大，但PPA上明显是SAKURA更胜一筹。

不过这也不是实际场景的比较，我们还是拿深度学习模型的测试结果来看，由于软件定义的特性，无论是在单芯多核和多芯的扩展下，SAKURA的异构计算单元都可以得到有效的利用。EdgeCortix给出了在YOLOv3这一实时物体检测算法中的比较，在同规模的数据下SAKURA的推理耗时最高可以做到AGX Xavier的16分之一。

这倒不是说SAKURA就一定是边缘AI的最优解，在给出的诸多对比中，大部分是BatchSize只有1下的测试结果，这是因为SAKURA对低BatchSize和INT8做过优化。更何况SAKURA对标的还是英伟达AGX Xavier、AGX Orin和高通CloudAI 100这一档的边缘AI芯片。

模拟与AI

不久前，笔者曾介绍了AI初创公司Aspinity的AML100边缘AI芯片，主打处理传感器输出的模拟数据，来实现降低功耗的作用。近日，Aspinity透露了更多这款芯片的细节，并更新了一些数据。传统的数据AlwaysOn方案无论是在智能手机、智能手表还是智能家居产品中都已经普及，而且主打的就是低功耗，甚至低至数十uW。那么这种模拟AI芯片的优势又在哪呢？

传统的超低功耗芯片在提及功耗时，其实还是自身的功耗乃至待机时的功耗，而从传感器和ADC再到芯片的功耗，以及整个系统的功耗还是没那么容易忽略的。比如传统的AlwaysOn数字处理器架构系统在检测语音事件时，总功耗大概在3700uW左右，数字处理器的功耗还是占大头。

AML100芯片和评估板 / Aspinity

而在AML100组成的AlwaysOn系统中，传感器的功耗不变，而AML100可以做到40uW以下的功耗，这时由于AML100从模拟端接手了预处理和机器学习的任务，ADC和数字处理器端的功耗无限约接近0uW，因此总功耗要小于140uW，将整个系统的功耗降低了95%以上。

AML100终究还是一个用于事件唤醒的边缘AI芯片，面向破窗安全监测、语音唤醒之类的AlwaysOn应用，那么针对通用的边缘AI应用，它能否派上用场呢？

其实作用也是有的，AML100的定位本质上就是一个模拟层面上的预处理，可以有效减小数据集的大小，这样交给MCU或云端的数据会减少至多百倍，对于大部分边缘应用来说，处理数据的减少也近似等效于延长电池寿命了。