谈谈物联网抱稳的AI大腿-电子发烧友网

电子发烧友网报道（文/周凯扬）如今各行各业似乎都傍上了AI，物联网也不例外。但AIoT的进程也已经开启了好几年，除了智能音箱、智能机器人这样的产品以外，似乎也没有冒出任何爆款，反倒是手机凭借着庞大的应用生态，Killer App频出。可无论是芯片原厂，还是下游厂商仍在不遗余力地宣传AI功能，这让人百思不得其解了，物联网真的抱稳了AI这条大腿吗？我们不妨从物联网上实现AI的几种方式来分析一下。

AIoT芯片

随着边缘端对AI需求的增加，其实不少厂商在不改变芯片架构的情况下，也为边缘AI开发提供了一系列工具。就拿意法半导体为例，他们旗下的STM32产品就全部兼容NanoEdge生态，支持生成异常检测、异常值检测、分类和回归四种ML库，可以完成常见的能源管理和寿命预测等工作。至于对性能要求更高的深度学习应用，就得用到他们的STM32Cube.AI了，对MCU的要求也提升至Cortex-M33以上的内核。这种方式对于芯片原厂来说，无需对设计做出大改，也有助于建立起自己的AI开发工具链生态，还可以针对不同芯片的性能进行调整。

EFR32MG24无线SoC / Silicon Labs也有的厂商开始在芯片上添加AI加速单元，比如Silicon Labs的BG24和MG24两个SoC，就加入了AI/ML硬件加速器，为Cortex-M33卸载处理机器学习算法的工作。从其规格书上来看，该加速器是一个矩阵矢量处理器，所以更适合用于密集的矩阵浮点乘加运算，比如BG24这种蓝牙无线SoC，就可以更轻松地完成蓝牙AoA的室内定位工作。这种方案与当下数据中心、HPC市场的做法并无二致，对于AI/ML这种专用性极强的负载来说，确实不该拿来拖累通用计算的性能，而且这一思路也考虑到了对不同AI框架的兼容性。未来很有可能会出现更多的异构方案，比如在集成Arm NPU的同时，加入各种硬件加速器内核。但无论是在原有芯片基础上加入AI算法，还是集成AI加速器，除了存在建立生态系统的挑战外，也都会带来不可忽视的功耗增加，这对于一些持续供电的IoT产品的影响可以忽略，但对于可穿戴产品来说无疑意味着续航的降低。像苹果的一系列产品就秉承着类似的设计，诸如Airpods、Apple Watch都是在以功能性作为最高优先级，续航普遍不高。当然了，这里提到的引入AI降低续航都是以IoT产品的功能性和高品质服务作为优先，毕竟如果你从功耗上发力AI功能的话，还是能大大改善续航的。就拿华为的智能音箱Sound Joy为例，在蓝牙模式下播放音乐就更加省电，但若是切换成支持语音控制的智能模式后，续航就会变短，所以华为也利用了动态调压节能的算法进一步提升续航。因此对于这类功能繁多的IoT产品来说，如何利用AI来完成功能的开关和功耗调整，才是未来增加续航的大方向。

轻量级AI框架

不仅是芯片厂商，AI框架的开发者们也注意到了IoT庞大的边缘AI市场，纷纷在推出轻量化或可扩展性强的框架，比如TensorFlow Lite、Caffe2等。这类框架可以在内存极小的设备上运行ML模型，也不需要任何操作系统、库的支持。由于走了轻量化的路线，所以与工作站或数据中心这种场景跑的AI框架还是存在差异的，但也足以完成常见的对象检测、手势识别、超分辨率等工作，TinyML已经成了每个物联网公司研究的方向。

TensorFlow Lite支持的部分示例应用 / Google而且这些框架的开发者也会预先给到优化后的模型，同时还能根据部署场景，完成不同模型之间的转换，比如将Tensorflow转换成TensorFlow Lite、TensorFlow Lite Micro部署在移动端或边缘端等等。虽然这类轻量级模型已经解决了运行的问题，但后续的重新训练、优化还是需要厂商自己去完成的。至于性能上的差异，不同的芯片之间势必会存在偏差，比如手机上运行这些AI模型肯定会比寻常的嵌入式设备要快得多。好在大部分这些轻量化AI框架都是开源的，所以厂商也得以对其做出专门的优化，并对现有的一些流行的AI模型进行移植，同时也能在这个过程中打造其专有框架和工具链，做好差异化。这些轻量化AI框架面临的挑战也不是没有，比如支持数据类型少、不支持模型训练等，也都是限制了它们产出爆款应用的因素。

传感器AI

大家都知道，一旦将数据处理尽可能放在靠前的流程中，不仅能降低功耗和延迟，也能极大地提升AI运算的效率，省去交给云端处理这一繁琐的步骤。在大部分IoT场景中，数据传输流程的头部往往都是传感器，所以无论是何种传感器，制造商们都开始探讨集成AI的方案。

ISPU传感器 / 意法半导体比如，意法半导体就推出内嵌智能传感器处理单元（ISPU）的MEMS传感器，直接将AI处理单元集成在传感器上，打造一个智能传感器。这样的传感器本身定制化程度也高，可直接对ISPU进行C语言编程，也支持运行多个AI算法。更重要的是，这类将AI集成在传感器方案显著降低了功耗，在计算完成后才将有效的数据传给待机状态的MCU处理，真正实现了在MCU之前的数据智能处理。而且这种传感器的设计也可以用上哈佛架构，甚至可以直接进行模拟运算，再转换成数字信号，实现更高的效率，最后再让冯诺依曼架构的CPU来完成工作。

写在最后

我们自然也不能忽视掉在云端进行AI处理的方案，固然这是一种将性能放大到极致的路线。可如果将未经处理的数据一股脑交给云端处理的话，徒增上云成本不说，延迟也会大大增加；全部交给端测来完成AI计算的话，功耗续航都得做出让步，甚至还是难以跑出可观的性能。这也就是为何亚马逊、阿里巴巴等厂商纷纷部署IoT的边缘计算的原因，即便边缘端接手了主要的AI计算工作，却依然可以将数据交给云端进行管理、存储和分析，而且这不一定是一个实时连接的过程，只需间歇性的同步也能完成任务。更何况功能、固件升级这样的任务主要还是交给云端来实现的，在有效的分析和训练下，云端可以将优化过后的模型传给边缘端。所以由此看来，物联网要想真正跨入AI时代，端云协同才是最佳方案。