奇景光电推出一款超低功耗AI处理器WiseEye 2(WE2)

概述

随着智能手机、可穿戴设备和传感器等各类端侧设备不断产生更多的数据，边缘计算也变得日益重要。在边缘侧执行人工智能 (AI) 推理可减少延迟、提高隐私性并降低带宽需求，但边缘设备往往受到严格的功耗限制。

奇景光电为此开发了一款超低功耗 AI 处理器 WiseEye 2 (WE2)，可用于在功耗受限的设备中实现边缘 AI 推理。

边缘 AI 所面临的挑战

由于可用的内存、计算和功率有限，在端侧设备上执行 AI 推理并非易事。大多数 AI 加速器芯片都依赖于外部的动态随机访问内存 (DRAM)，这无疑增加了成本和功耗。而 WE2 采用了创新架构，突破了这些限制。

WE2 AI 处理器的主要特性

WE2 AI 处理器的性能可达 50 GOPS，同时在 1mm2 晶粒面积中仅消耗 1-10mW 能耗。其主要特性包括：

双核 Arm Cortex-M55 处理器

Arm Ethos-U55，用于 AI 加速

无需外部 DRAM

集成 DC-DC 转换器，用于提高能效

具备安全启动等硬件安全功能

支持 TensorFlow Lite Micro 和 TVM

开源工具链

善用 Arm 资源

WE2 AI 处理器基于 Arm 架构并善用 Arm 提供的丰富资源，其中包括：

性能：搭载的 Arm Cortex-M55 处理器可实现高速视觉处理，“大”核的运行速度最高达 400MHz，可有效处理机器学习 (ML) 工作负载。与仅使用微控制器相比，可显著加快推理速度。该芯片在 AI 推理前通过 Arm Helium 指令进行图像处理、图像裁剪、调整大小和颜色等。

能效：“小核 Cortex-M55”的运行频率为 150MHz，能够以超低功耗执行始终在线的任务。

可扩展性：Cortex-M55 与 Arm 的 ML 框架（例如 CMSIS-NN）兼容，有助于实现灵活的软件开发。例如，可以在 Cortex-M55 或其他 Arm 核心上运行相同的代码。

硬件集成：将处理器与 Arm Ethos-U55 加速器和视觉 IP 相集成，有助于CPU、硬件加速器和外设之间的紧耦合处理。

生态系统支持：搭载 Cortex-M55 时，开发者可充分利用 Arm 广泛生态系统所提供的工具、软件和技术支持等丰富资源。这正是奇景光电选择 Arm 处理器的关键因素之一。

针对视觉应用进行优化

WE2 针对在边缘侧运行的视觉 AI 模型进行了相应的优化。该芯片运行速度最高可达 400MHz，可高效执行视觉处理任务。其支持运行的模型可广泛用于：

人脸关键点检测：除了基本的人脸检测功能外，还能执行人脸关键点检测，识别眼睛、鼻子和嘴巴等关键的面部结构。

人体姿势估计：WE2 可以通过检测关键关节和四肢来判断人体姿势，比如通过识别手臂、腿、躯干和头部等身体部位，确定身体的整体位置和动作。这已经在健身追踪、姿势控制和动作识别等领域被应用。

目标检测：目标检测 Yolo v8n 模型可以在 WE2 上运行，能够检测场景中的多个物体目标并进行分类。该模型可以识别多达 80 种以上的常见物体，例如人、汽车、车牌、动物、家居用品和放在门口的包裹等。

专为灵活性而设计

WE2 支持外部闪存，因此可以将大型 AI 模型存储在片外。WE2 芯片可通过数字视频端口 (DVP) 与图像传感器对接。通过 Arm 生态系统的赋能，奇景光电实现了软件兼容性。

利用 Keil MDK、VS Code、TensorFlow MOT、Pytorch 和 TinyNeuralNetwork 等开源工具，奇景光电可支持用户开发定制化 AI 应用，并针对低功耗进行优化。此外，奇景光电还提供了参考模型来协助进行引导程序的开发。

早期客户采用

目前， WE2 AI 处理器已被客户采用于各种用例中。例如，有客户将 WE2 芯片与笔记本电脑摄像头集成，以便在待机模式下进行人物动态检测，确保在检测到用户时，能即刻唤醒系统。

由于 WE2 具备较高能效，因此非常适合用于电池供电和主流的边缘侧产品。奇景光电计划在未来几代产品中增加集成图像信号处理 (ISP) 功能，以进一步提升视觉功能。总而言之，奇景光电 WE2 可以在资源受限的边缘侧设备上进行 AI 推理。凭借专为计算机视觉优化而打造的创新架构，WE2 成功地将 AI 和 ML 引入了新一代端侧和物联网产品中。

审核编辑：刘清