CEVA NeuPro-M异构和安全处理器架构

CEVA， Inc.推出的适用于人工智能和机器学习 （AI/ML） 推理工作负载的最新一代处理器架构 NeuPro-M。

NeuPro-M针对 Edge AI 和 Edge Compute 的广阔市场， 是一个自包含的异构架构，由多个专用协处理器和可配置的硬件加速器组成，可无缝同时处理深度神经网络的各种工作负载，将性能提升 5 -15X 与其前身相比。

作为业界首创，NeuPro-M 支持片上系统 （SoC） 和异构 SoC （HSoC） 可扩展性，可实现高达 1，200 TOPS，并提供可选的稳健安全启动和端到端数据隐私。

NeuPro–M 兼容处理器最初包括以下预配置内核：

NPM11 – 单个 NeuPro-M 引擎，在 1.25GHz 时高达 20 TOPS

NPM18 – 8 个 NeuPro-M 引擎，在 1.25GHz 时高达 160 TOPS

据该公司称，在处理 ResNet50 卷积神经网络时，单个 NPM11 内核实现了 5 倍的性能提升和 6 倍的内存带宽减少，从而实现了高达每瓦 24 TOPS 的合适功率效率。

NeuPro-M 能够处理所有已知的神经网络架构，以及对下一代网络（如转换器、3D 卷积、自注意力和所有类型的递归神经网络）的集成原生支持。NeuPro-M 经过优化，可处理 250 多个神经网络、450 多个 AI 内核和 50 多个算法。嵌入式矢量处理单元 （VPU） 确保基于未来的软件支持新的神经网络拓扑和 AI 工作负载的新进展。此外，CDNN 离线压缩工具可以将 NeuPro-M 的 FPS/Watt 提高 5-10 倍，用于常见基准测试，而对准确性的影响最小。

NeuPro-M 异构架构由特定功能的协处理器和负载平衡机制组成，与前代产品相比，它们是性能和效率飞跃的主要贡献者。通过将控制功能分配给本地控制器并以分层方式实现本地内存资源，NeuPro-M 实现了数据流的灵活性，可实现 90% 以上的利用率，并在任何给定时间防止不同协处理器和加速器的数据不足。 CDNN 框架通过实践针对特定网络、所需带宽、可用内存和目标性能所采用的各种数据流方案来获得最佳负载平衡。

NeuPro-M 架构亮点包括：

由 4K MAC（乘加）组成的主网格阵列，混合精度为 2-16 位。

用于权重和激活的 Winograd 变换引擎，将卷积时间减少 2 倍，并允许 8 位卷积处理，精度下降 《0.5%。

稀疏引擎可避免每层使用零值权重或激活的操作，从而获得高达 4 倍的性能提升，同时降低内存带宽和功耗。

完全可编程的向量处理单元，用于处理具有所有数据类型的新的不受支持的神经网络架构，从 32 位浮点到 2 位二进制神经网络 （BNN）。

可配置的权重和数据压缩到 2 位，同时存储到内存中，并在读取时实时解压缩，以减少内存带宽。

动态配置的两级存储器架构可最大限度地减少因与外部 SDRAM 之间的数据传输而导致的功耗。

为了说明这些功能在 NeuPro-M 架构中的优势，同时使用 Winograd 变换、稀疏引擎和低分辨率 4x4 位激活的正交机制，可将 Resnet50 等网络的循环计数减少 3 倍以上和 Yolo V3。

由于神经网络权重和偏差、数据集和网络拓扑成为所有者的关键知识产权，因此需要保护它们免遭未经授权的使用。NeuPro-M 架构以可选的信任根、身份验证和加密加速器的形式支持安全访问。

对于汽车市场，NeuPro-M 内核及其 CEVA 深度神经网络 （CDNN） 深度学习编译器和软件工具包符合汽车 ISO26262 ASIL-B 功能安全标准，并符合严格的质量保证标准 IATF16949 和 A-Spice。

结合 CEVA 的神经网络编译器 CDNN 及其强大的软件开发环境，NeuPro-M 为客户提供了一个完全可编程的硬件/软件 AI 开发环境，以最大限度地提高他们的 AI 性能。CDNN 包含的软件可以充分利用客户的 NeuPro-M 定制硬件来优化功率、性能和带宽。CDNN 软件还包括一个内存管理器，用于减少内存和优化负载平衡算法，并广泛支持各种网络格式，包括 ONNX、Caffe、TensorFlow、TensorFlow Lite、Pytorch 等。CDNN 与常见的开源框架兼容，包括 Glow、tvm、Halide 和 TensorFlow，并在使用精度守恒方法的同时包括“层融合”和“训练后量化”等模型优化功能。

NeuPro-M 可用于今天的主要客户许可和今年第二季度的一般许可。NeuPro-M 客户还可以从 CEVA 的异构 SoC 设计服务中受益，以帮助集成和支持系统设计和小芯片开发。

审核编辑：郭婷