驱动未来神经网络应用的PowerVR 2NX解决方案

毫无疑问，神经网络变得越来越流行，在各式各样的产品中都可以找到它的相关应用。它们会根据你的兴趣自动调整社交多媒体内容、让照片显示更加好看、在AR/VR头戴设备中增强检测和眼球追踪功能。

在智慧监控领域中，它可以应用于安全保障、提供增强的面部识别功能、群体行为分析等。在网上支付系统中，它对于诈骗行为的检测也比人类更加强大。此外，神经网络也将应用到了无人驾驶汽车系统中，借以避免碰撞事故的发生，实现无人机运送包裹。而最近比较受大家关注的就是以脸部辨识来解锁手机了。

神经网络专用硬体需求高

为了能够实现如此众多的功能，神经网络首先需要经过训练，这通常需要强大的伺服器硬体提供支援。物体识别的实现其实就是不断地进行推断和对比，而且需要即时的方式来完成。当然神经网络越大，需要的运算量就越大，也需要更高水准的性能支援，尤其在行动应用方面。尽管神经网络推断引擎可以在CPU上运行，但是它们通常采用GPU，利用其强大的平行运算特性，以求更快处理神经网络运算。然而为了在严格的功耗下满足下一代性能要求，专用的神经网络加速硬体则是必需的。

这对硬体来说是一个自然演进过程。从早期的桌面PC游戏到街机游戏机，到后来的家庭游戏机以及移动设备端等，PowerVR一直都与图形技术密切相关，除此之外，PowerVR还拥有包括电脑视觉和AI应用的系列IP产品。原本早期的桌面处理器甚至没有整合数学运算辅助处理器模组，无法在游戏类应用软体中提供浮点数运算加速功能，然后自20世纪80年代这种功能已经成为CPU设计的标准。在20世纪90年代以后，CPU整合了记忆体快取以进一步提升性能，不久GPU也被整合于其中。随后在2010年代出现了专用于编解码的ISP(图像讯号处理)和硬体设备，以实现流畅的视讯重播。现在轮到神经网络拥有专用的晶片了(图1)。

图1：嵌入式系统的演进

将神经网络运算转移到终端

2017年9月21日PowerVR在中国首发一项全新的IP产品—硬体神经网络加速器PowerVR 2NX。命名为神经网络加速器(NNA)，乃是基于其能够支援多种神经网络模型和架构以及机器学习框架，并具备高性能和低功耗特性。

在很多案例中，神经网络的推断处理过程是放在云端伺服器强大的硬体上来执行的，但是由于多种原因这部分工作现在需要转移到终端硬体设备上来，有些应用必须要快速的回应。由于延迟问题，通过网络运行神经网络是不切实际的，转移到终端设备上来能够消除可能发生的安全问题。况且蜂巢网络(3G、4G、5G)也不是在任何情况下都可行，终端专用的硬体设备则更加可靠，除了能够提供更强大的性能，还能大幅减少系统功耗。

举个例子，无人机的飞行速度一般会超过150mph(67公尺/秒)，没有硬体的情况下，它需要检测前面10~15公尺范围内的障碍物以避免碰撞(图2)。由于延迟、频宽和网络的可靠性等因素，采用云端伺服器的方式在运作上会出现问题。采用终端硬体解决方案比如PowerVR 2NX，无人机可以运行多个神经网络，能够在1米范围内即时识别和追踪前方的障碍物。如果想借助无人机传递包裹或者以独特的视角观看各种体育运动，神经网络硬体辅助则必不可少。

图2：无人机就是一个案例，采用神经网络硬体加速可实现更快更高效的碰撞检测。

如今智慧手机保存了太多我们的照片，一般会有1,000张或者更多，手机系统可以采用不同的方式自动进行排序，比如识别出包含某个人的所有照片，这个过程需要大量的分析运算，一款旗舰级的GPU运行神经网络处理过程可能需要60秒，但是采用PowerVR 2NX则仅需要2秒钟(图3)。

图3 PowerVR 2NX能够为行动设备提供高速的图片处理功能，同时保持低功耗。

同时还要考虑电池使用时间。GPU处理大约2,400张照片会使用1%的电量，而消耗同样的电量PowerVR 2NX能够处理大约428,000张图片。低功耗特性支援更多新的应用场景，比如智慧监控。2NX能支援采用终端硬体平台进行分析处理，比如部署在城市中心、体育场内的摄影机或者智慧家庭安全系统等都有其相关应用。因为2NX支援不同的网络类型，可以做出更智慧的决策，减低了错误发生的机率。由于其低功耗特性，这些摄影机都可以采用电池驱动，方便了部署和管理。

灵活的位元数支援

为了支援不同的应用案例，2NX NNA进行了全面的设计，支援高效的神经网络推理过程。是什么让2NX硬体加速器有别于其他的神经网络解决方案(DSP/GPU)？首先2NX超低功耗利用了在行动平台设计方面的经验，第二个是灵活的位元数支援，更重要的是每个推理层都具备此特性。神经网络训练通常采用32位元全精度，但是这样无疑会需要更高的频宽、更多的功耗，这对于行动设备的功耗要求显然是不允许的，尽管硬体设备有足够的性能支援神经网络的运作，但这对电池的使用寿命会有很大的冲击。

为了解决这个问题，2NX为权重和资料提供可变的位元数支援，这样就能够在保持较高推理精度的同时大大降低对频宽的要求，功耗要求也随之减少。

与其他解决方案不同，其降低位元数要求并不是采用硬性的方法，而是在每个分层都可以灵活配置权重和资料的位元宽，因此开发者可以全面优化训练网络的性能。而且不光要保持精度还要保持精确性，最终得以在更低的频宽和功耗的情况下提供更高的性能(图4)。

图4 PowerVR 2NX神经网络加速器实现灵活的配置权重和精度

实际上2NX需要的频宽仅是其他竞争解决方案的25%左右，在某些应用场景从8位元位宽降低到4位元位宽精度，2NX消耗的功耗则降为69%，但是精确度的降低却不足1%。

强化必要性能

最近某个智慧手机制造商宣布其硬体平台支援人脸检测并可用于解锁手机，相当于每秒6,000亿次的推理操作。PowerVR 2NX单核IP运作在保守频率800MHz，能提供2,048 MACs/cycle(产业标准性能指标)操作，意味着每秒3.2万亿次推理操作—相当于最有竞争力的对手的两倍。2NX是一个高度可扩充的解决方案，如果需要更高的性能，则可以使用更多的核心。

2NX非常强大，在非常小的面积上能够提供业界最高的推理/mm2指标。实际上在SoC中，PowerVR GPU结合NNA的解决方案，相比竞争对手纯GPU解决方案占用更少的晶片面积，当然2NX可以单独使用，不必结合GPU，CPU也仅仅是用于驱动。

2NX IP同样具备储存管理单元(MMU)，可以应用于Android和其他复杂的作业系统(OS)中，而且不需要整合额外的晶片或者其他复杂的软体。

支援不同网络类型/模型/框架/ API

神经网络涉及各种各样的形式和特性，如何选用很大程度上依赖于要实现的系统功能。2NX NNA支援多种形式的神经网络，包括卷积神经网络(CNN)、多层感知器(MLP)、递回神经网络(RNN)和SSD物体检测框架。目前2NX支援主要的神经网络框架，比如Caffe和TensorFlow，对于其他框架的支援也在持续开发中(图5)。

图5 PowerVR 2NX于神经网络运算架构中的位置

使用优化转换和调优工具，结合深度神经网络(DNN)API，开发者能够快速部署他们所选择的网络框架并且运行PowerVR NNA加速器。PowerVR长久以来一直在支援Android系统，当Google发布Android神经网络API后，2NX也将全面支援。当然开发者也可以采用现在的工作流程开发行动App原型，然后使用DNN API与2NX进行配对，实现应用系统加速和功耗降低。

随着我们的世界与电脑的关系越来越密切，机器也会更加地理解这个世界，PowerVR 2NX NNA代表的是神经网络加速和性能的一个转捩点，具有在产业内最高的「推理/milliwatt」和「推理/mm2」性能指标，能够满足在行动硬体平台部署神经网络之功耗和性能约束条件的IP解决方案。除此之外PowerVR NNA还支援主要的神经网络和框架，结合DNN API使得PowerVR 2NX成为驱动未来神经网络应用的解决方案。