mW范围内的机器视觉使物联网端点推理变得实用

物联网端点位于嵌入式视觉的前沿。而且，与其他前沿领域一样，也存在挑战，尤其是功率效率。

机器视觉已经迅速在世界上找到了自己的位置。可以看到橙子并从树上摘下橙子。 凝视检测针对危险的无意识驾驶员。在工厂车间周围移动的工业机器人依靠它来进行安全的障碍物检测。

物联网端点位于嵌入式视觉的前沿。而且，与其他前沿领域一样，也存在挑战，尤其是功率效率。可以在不超过节点功率容量的情况下进行极端边缘的推理吗？

这个问题值得考虑。这是因为在边缘进行推理可以避免将数据（只有其中一些是可操作的）不加选择地传输到云端进行分析。这降低了存储成本。此外，云访问会损害延迟并抑制实时能力。旅行数据是易受攻击的数据，因此更可取端点处理。这也有利于降低支付给网络运营商的成本。

SoC 架构的新方法

然而，对于所有这些好处，存在一个主要的绊脚石。使用传统微控制器的设备的功耗限制在极端情况下阻碍了神经网络推理。

传统的微控制器 （MCU） 性能无法满足周期密集型操作。方法唤醒解决方案可能依赖机器视觉进行对象分类，而这又需要卷积神经网络 （CNN） 来执行矩阵乘法运算，从而转化为数百万乘法累加 （MAC） 计算（图 1）。

图 1. 迄今为止，微控制器无法高效处理大容量乘法累加 （MAC） 的问题一直是一个绊脚石。

MCU 存在各种神经网络。但是，这些解决方案未能成为生产就绪型解决方案，因为所需的性能无法超越功率障碍。

克服电源性能困境是为什么采用全新方法处理处理器角色和 SoC 架构的解决方案是有意义的。采用这种新方法需要了解物联网端点需要处理三个工作负载才能成功进行推理。一种是程序性的，一种是用于数字信号处理的，一种是执行大量 MAC 操作的。解决每个工作负载独特需求的一种方法是在 SoC 中结合用于信号处理和机器学习的双 MAC 16 位 DSP 和用于程序负载的 Arm Cortex-M CPU。

这种混合多核架构利用了 DSP 双内存库、零循环开销和复杂的地址生成。使用它可以处理任何工作负载组合：例如，网络堆栈、RTOS、数字滤波器、时频转换、RNN、CNN 和传统的人工智能类搜索、决策树和线性回归。图 2 显示了当 DSP 架构优势发挥作用时，神经网络计算性能如何提高 2 倍甚至 3 倍。

图 2. 矩阵乘法 （NxN） 基准。

仅仅改变架构是不够的

无论是嵌入式视觉系统还是其他依赖显着提高神经网络效率的系统，实现混合多核架构都很重要。然而，当目标是将功耗降低到 mW 范围时，还需要做更多的工作。认识到这一需求，Eta Compute 获得了连续电压和频率缩放 （CVFS） 专利。

CVFS 克服了动态电压频率缩放或 DVFS 遇到的问题。DVFS 确实利用了降低功率的选项，即降低电压。缺点是执行此选项时最大频率会降低。这个问题将 DVFS 的有效性限制在一个狭窄的范围内——一个由严格限制数量的预定义离散电压电平定义，并限制在几百 mV 的电压范围内。

相比之下，为了在最有效的电压下实现一致的 SoC 操作，CVFS 使用自定时逻辑。有了自定时逻辑，每个设备都可以连续自动调整电压和频率。CVFS 比 DVFS 更有效，也比亚阈值设计更容易实施，CVFS 在另一个重要方面也与这些不同。关键区别在于，上面提到的混合多核架构使 CVFS 已经在做的好事成倍增加。

极端边缘的生产级

处于极端边缘的端点，例如用于人员检测的端点，有特定的需求。尽管任何人都可以将已发布的神经网络用于这些物联网端点，但它们并没有优先满足这些需求。使用领先的设计技术优化这些网络可以解决这个问题。

除了使用先进的设计方法之外，我们在 Eta Compute 采用的神经网络优化方法集中在我们的生产级神经传感器处理器 ECM3532（图 3）上。它融合了混合多核架构和 CVFS 技术的所有优点。

图 3. Eta Compute ECM3532 神经传感器处理器的混合多核架构，其中将 Arm Cortex-M3 处理器、NXP CoolFlux DSP、512KB 闪存、352KB SRAM 和支持外设集成在 SoC 中，使推理达到极致在可实现的 mW 范围内的边缘。

获得的知识

诸如图 4 所示结果的测试表明，为了将深度学习引入嵌入式视觉系统，电力成本不必上升到不可接受的水平。虽然没有一根魔杖可以为耗电的神经网络提供支持，但一种将 MCU 电源效率和 DSP 优势与网络优化相结合的方法可以帮助应用程序避免仅依赖云计算导致的安全性、延迟和低效率问题。

图 4. 在人员检测模型的测试中，包括摄像头在内的平均系统功率达到了 5.6mW。对于该测试，速率为每秒1.3次推理，但进一步细化优化应将平均系统功率进一步降低至 4mW，同时将速率提高到每秒 2 次推理。

审核编辑：郭婷