将边缘AI提升到新的水平

技术的进化阶段是一个熟悉的地方，人工智能是近年来的主要技术，也不例外。在人工智能中 - 新一代增加了更多的MAC，多层量化，这个功能，那个功能 - 所有这些都是为了追逐改进的TOPS / Watt。

在此环境中，我们已成功通过我们的 CEVA NeuPro 平台将 AI 边缘解决方案引入各种市场。现在，用户想要更多，但有时仅靠进化是不够的。

起初，用户强调易用性，以帮助他们引入这种新的AI边缘技术。但随着他们在先进人工智能技术方面的专业知识不断加深，他们希望获得所有可能的方法，将差异化融入到他们的产品中，并超越当前最先进的方法一个数量级。通过进化快速到达那里是不可能的;革命性的改进是必要的。他们想要的已经从易用性转变为以最大吞吐量和最小功耗实现最大的算法灵活性。

测量

TOPS / W是一个不错的营销数字，但它太粗糙了，在实际应用中没有用处。例如，在视觉推理中，每秒帧/瓦特 （FPS/W） 是一个更有意义的指标。在这种情况下，好分数的价值很容易理解。检测前方的行人或汽车或从后方经过的汽车需要快速响应。几乎没有时间刹车或转向，而且这两个动作都不是瞬间的。推理引擎必须能够以尽可能低的功率管理至少100 FPS，因为这只是汽车周围众多传感器/人工智能系统之一。这需要更高的fps / W才能获得竞争力。

市场机会是毋庸置疑的。预计汽车和电信应用将成为这一增长的最大贡献者，而在汽车领域，智能成像继续保持强劲。顺便说一句，手机中的“多相机”趋势也是如此。事实上，这种相机中的成像管道已经开始用神经网络取代传统算法，用于去噪、图像稳定、超分辨率和其他新颖功能，所有这些都在非常有限的能量包络中以60fps的速度运行。

重大进步需要什么

围绕模拟AI和峰值神经网络发生了一些有趣的事情，但产品制造商不想离他们今天可以扩展到数量的东西太远。这种限制仍然留下了大量的算法潜力，但现在产品构建者希望能够以更大的灵活性访问所有这些算法，以最小的功耗挤出最大的性能。

优化可能性列表很长：广泛的量化选项，winograd支持，跳过乘法零的稀疏性优化，激活和权重在一系列位大小上的数据类型多样性，与神经乘法并行的矢量处理能力，数据压缩以减少权重和激活的加载时间，矩阵分解支持，通过参考网络提供高达50：1的加速度， 和下一代 NN 架构，如变压器和 3D 卷积支持。

号召性用语

产品构建者现在在人工智能方面拥有更多经验，他们知道他们想要构建什么以及如何构建它。他们需要的是一个提供他们已经理解的所有神经网络组件算法的平台，为他们的产品构建最佳解决方案。

这是一个梦想中的算法和优化列表，可提供高级边缘 AI 所需的真正突破性功能、吞吐量和低功耗。但为什么只有梦想呢？高级产品构建者不再满足于人工智能的渐进式改进。他们现在期望平台与他们对可能性的深刻理解相一致。

审核编辑：郭婷