伴随TinyML一同崛起的边缘AI生态

电子发烧友网报道（文/周凯扬）随着大厂持续批量购置高性能GPU资源，目前的云端AI生态已经打好了硬件基础，也已经辐射到手机这样的高算力端侧设备。然而在数量更为庞大的其他端侧设备，比如算力有限的IoT设备上，又该如何引入AI呢？这就不得不提到TinyML了。

小体量的机器学习

为了让在超低功耗的MCU或传感器设备上开发和部署AI模型，机器学习衍生出了TinyML这一研究领域。这里指的超低功耗最低可至mW级，从而打破定义智能设备的能耗壁垒，毕竟大部分的MCU主频不超过1000MHz，内存与存储资源也有限，没法用上那些大体量的模型。

且对于TinyML来说，即便其与服务器CPU、GPU等在算力上差距巨大，但所需的AI计算量依然不少。所以厂商往往需要从模型大小、处理器架构效率这类软硬结合的指标上发力，比如Tensorflow Lite、PyTorch Mobile这类轻量级框架，又或是针对机器学习进行优化的CPU内核或辅助计算的NPU等。

目前常见的TinyML应用主要集中在视觉、音频和振动这三大感知领域。以视觉而言，物体识别、人体姿态识别和深度识别之类的应用早就在MCU应用上普及了，但TinyML可以进一步加强识别能力和识别效率，且其学习能力也使其不再局限于特定的识别目标。

而音频上TinyML就更加实用了，除去常见的关键词识别、自动通话识别外，还可以不依靠额外的硬件或云端连接，进一步完成降噪、机器翻译等操作。至于振动相关的TinyML应用主要集中在工业领域，比如人物活动识别、电机控制、预测性维护等等。

TinyML的边缘生态

作为目前MCU市场的主导架构，Arm早早就迈入了对TinyML的研究，和高通、谷歌等厂商展开了相关领域的合作。同时Arm也开发出了部分处理器，为面积受限的低功耗芯片提供计算辅助，比如Cortex-M55、Ethos-U55/U65等等。

目前不少Arm MCU厂商在这些年的架构和IP内卷中同样看到了边缘AI的商机，纷纷深入开展了TinyML的开发，比如意法半导体、瑞萨、兆易创新和澎湃微等厂商。比如瑞萨就基于RA6T2这样的电机控制MCU，利用TinyML及其Reality AI软件实现了无需传感器的预测性维护。在RISC-V架构上，也有博流智能、嘉楠科技等厂商在发力TinyML。

不少厂商为了追赶进度，也选择了收购一途，比如近期收购了Atlazo的Nordic Semiconductor，前者就是一家专注于TinyML处理器、IP和传感器接口开发的公司。Nordic也计划在未来的SoC设计中，集成这些TinyML技术，用于智能健康市场，比如心脏监测、血糖监测等。包括上文中提到的瑞萨Reality AI软件，其实也是靠收购获得的。

在相关的软件开发上，国内也有矽速科技这样的厂商，在不断推出开源套件的同时，也提供了MaxiHub这样一个专门针对边缘设备的模型在线训练分享平台，以及TinyMaix这样一个面向MCU的超轻量级神经网络推理库，支持ARM、RISC-V的多种专用指令优化。


写在最后

从软硬件生态上来看，边缘AI已经变得愈发成熟，也必将是专注于MCU等低功耗半导体的厂商未来的必经之路。但至于边缘端直接运行大模型这样的应用还是需要进一步发展的，毕竟手机这类设备有着天生的算力与连接优势，但不少边缘设备是不具备的，所以先从小的TinyML开始做起，才是脚踏实地的路线。