提升到边缘AI的新水平

技术的进化阶段是一个熟悉的地方，近年来的主要技术人工智能也不例外。在人工智能中 - 新一代添加更多的MAC，多层量化，这个功能，那个功能 - 所有这些都是为了追求改进的TOPS/Watt。

在这种环境下，我们已经通过我们的CEVA NeuPro平台成功地将AI边缘解决方案引入各个市场。现在，用户想要更多，但有时仅靠进化是不够的。

起初，用户强调易用性，以帮助他们引入这种新的边缘人工智能技术。但随着他们在先进人工智能技术方面的专业知识不断深入，他们希望获得所有可能的方法，将差异化融入到他们的产品中，并超越当前最先进的方法一个数量级。通过进化不可能快速到达那里;革命性的改进是必要的。他们想要的已经从易用性转变为以最大吞吐量和最小功率实现最大的算法灵活性。

向上测量

TOPS/W 是一个很好的营销数字，但它太粗糙了，在实际应用中没有用处。例如，在视觉推理中，每秒帧/瓦特 （FPS/W） 是一个更有意义的指标。在这种情况下，好分数的价值很容易理解。检测前方的行人或汽车或从后面经过的汽车需要快速响应。几乎没有时间刹车或转向，而且这两个动作都不是瞬间的。推理引擎必须能够以尽可能低的功率管理至少 100 FPS，因为这只是汽车周围的众多传感器/AI 系统之一。这需要更高的 fps/W 才能获得竞争力。

市场机会是毋庸置疑的。汽车和电信应用预计将成为这一增长的最大贡献者，而在汽车领域，智能成像继续保持强劲。顺便说一下，手机中的“多摄像头”趋势也是如此。事实上，此类相机中的成像管道已经开始用神经网络取代传统算法，用于降噪、图像稳定、超分辨率和其他新颖功能，所有这些都在非常有限的能量包络内以 60fps 的速度运行。

重大进步需要什么

围绕模拟人工智能和峰值神经网络发生了一些有趣的事情，但产品制造商不想离他们今天可以扩展到数量的东西太远。这种限制仍然留下了很多算法潜力，但现在产品构建者希望以更大的灵活性访问所有这些算法，以最小的功耗挤出最大的性能。

优化可能性的列表很长：广泛的量化选项、winograd 支持、跳过乘以零的稀疏性优化、各种位大小的激活和权重的数据类型多样性、与神经乘法并行的矢量处理能力、数据压缩以减少权重和激活的加载时间、矩阵分解支持，通过参考网络提供高达 50：1 的加速度， 以及下一代 NN 架构，如变压器和 3D 卷积支持。

行动呼吁

产品构建者现在在人工智能方面拥有更多经验，知道他们想要构建什么以及如何构建它。他们需要的是一个平台，提供他们已经理解的所有神经网络组件算法，为他们的产品构建最佳解决方案。

这是一份梦寐以求的算法和优化清单，可提供高级边缘 AI 所需的真正突破性功能、吞吐量和低功耗。但为什么只是一个梦想？高级产品构建者不再满足于人工智能的渐进式改进。他们现在希望平台能够与他们对可能性的大幅提高的理解保持一致。

审核编辑：郭婷