边缘AI落地过程中遇到哪些难点

电子发烧友网报道（文/李弯弯）所谓边缘AI，是指在端侧设备本身，而不是在云端或大型数据中心服务器上运行推理。因为对算力的要求很高，最初AI基本都在云端进行训练和推理。然而因为数据必须上传至云端，这就带来了数据隐私等多方面的问题。

因此边缘AI的应用需求越来越强劲，在边缘端进行AI推理，处理数据的过程就不必上传至云端，这样能够很好地保障数据隐私和数据安全，还能避免系统受到恶意网络攻击，而且还能够消除处理延迟，减少数据传输量和带宽。

边缘AI芯片市场规模在提升

边缘AI涉及的应用范围非常广泛，包括智慧家居中的家庭安全监控、老人儿童监护、智能锁可视门铃、扫地机器人避障等，智慧零售中智慧门店的客流和客层分析、新老客户及会员识别、操作人员穿戴检测、异常行为检测，以及无人售货柜的人脸识别开柜、识别商品并自动结算等，还有智慧农业、机器人、智慧教育等诸多领域各种场景中的应用等等。

这其中对AI芯片的需求巨大，数据显示，预计到2025年，边缘AI芯片市场的收入将达到122亿美元，云端AI芯片市场的收入达119亿美元，边缘AI芯片市场将超过云端。

因此过去几年，一些传统的芯片企业及初创企业都加入到边缘AI芯片行列，包括AMD、英特尔、英伟达、NXP、ST、谷歌，以及国内的寒武纪、地平线、鲲云科技等。

因为看好边缘端的应用市场，谷歌早2018年就发布了用于边缘计算的微型AI加速芯片Edge TPU，用于在边缘设备上运行TensorFlow Lite ML模型进行推理。它在较小的物理和功耗范围内提供高性能，并在边缘部署高精度AI，能够使用户以高效率的方式在高分辨率视频上以每秒30帧的速度同时执行多帧最先进的AI模型。

Edge TPU结合了定制硬件、开放软件和先进的AI算法，为边缘提供高质量、易于部署的AI解决方案。该芯片具有较高的每瓦性能和较小的占地面积，用于预测性维护、异常检测、机器视觉、机器人、语音识别等，可应用于制造、医疗保健、零售、智能空间、运输等领域。

英伟达过去几年也推出了多款边缘AI产品。2019年英伟达就推出了Jetson Nano，专为支持入门级边缘AI应用程序和设备设计，能够同时并行运行多个神经网络应用，例如图像分类、目标检测、物体分割和自然语言处理等，其运行功耗仅为5瓦。

英伟达推出的基于 Jetbot Jetson Nano（含2GB）的智能无人车教学系统，在 NVIDIA GTC 2019 年大会上，这个项目现场演示了避障 、循路与遇障停止等功能。

2019年英伟达还发布了Jetson Xavier NX，这是一个用于在无人机、汽车和机器人等边缘设备上的AI系统模块，可以为AI工作负载提供21 TOPS的算力，功耗最高仅为15瓦，Jetson Xavier NX的应用场景主要是小型商用机器人、无人机、高分辨率传感器、光学检测、网络录像机、便携式医疗设备以及其他工业物联网系统。

在2021年11月份的GTC大会上，英伟达又发布了一款体积小、功能强的人工智能超级计算机NVIDIA Jetson AGX Orin，专为机器人、自主机器、医疗器材及嵌入式边缘运算场景设计。Jetson AGX Orin采用NVIDIA Ampere架构GPU和 Arm Cortex-A78AE CPU以及新一代深度学习和视觉加速器。其AI性能达到200 TOPS，功耗最低可达到15W，最高为50W，这使其成为下一代自主机器（如交付和物流机器人、工厂系统和大型工业无人机）的首选解决方案。

寒武纪在2019年也推出了其首款边缘AI芯片思元220（MLU220）芯片。这是一款专门用于深度学习的SOC边缘加速芯片，采用TSMC 16nm工艺，采用寒武纪在处理器架构领域的一系列创新性技术。其架构为寒武纪最新一代智能处理器MLUv02，实现最大32TOPS（INT4）算力，而功耗仅10瓦。此外，基于思元220，寒武纪面向市场还推出小尺寸的M.2加速卡。

思元220芯片可提供16/8/4位可配置的定点运算，客户可根据应用灵活选择运算类型来获得卓越的人工智能推理性能。在软件方面，通过端云一体的软件平台，思元220支持寒武纪Neuware软件工具链，支持各主流编程框架，包括Tensorflow，Caffe，mxnet，及pytorch等。

在自动驾驶这类边缘场景上，近几年AI芯片的发展也在加速，主要的厂商包括英伟达、高通、英特尔、地平线等。地平线是国内入局较早的企业，2019年地平线就发布了国内首款已量产车规级边缘AI视觉芯片征程2.0，该芯片等效算力超过4TOPS，典型功耗仅为2W，采用地平线二代BPU架构，能实现多类AI任务处理，并对多类目标实时监测和精准识别。

如今地平线第三代车规级自动驾驶芯片征程5即将量产，征程5搭载地平线最新一代BPU贝叶斯深度学习加速引擎，单颗芯片AI算力高达128TOPS。凭借高算力的征程5的正式推出，地平线成为了国内少有的能够覆盖从L2到L4智能驾驶芯片方案的提供商。

边缘AI落地面临哪些难题虽然边缘AI 应用场景丰富，过去几年边缘AI芯片市场规模也在快速提升，不过从目前的情况来看，边缘AI在落地方面还面临一些问题。

在此前某论坛上，齐感科技市场营销副总裁刁勇就谈到了AI边缘视觉应用落地的几个挑战。他说现在AI视觉应用在边缘侧的落地场景非常多，比如智能摄像机、智能门锁、边缘分析盒子等都是非常常见的应用场景，如今的市场规模也相当大，这些场景对AI视觉也提出了很高的要求，比如需要较高的集成度，对满足算力下的功耗的要求也很高。

齐感科技的AI视觉SOC为了满足这些场景的要求，也在不断提高集成度，比如其第一代的AI视觉SOC芯片，在片上ARM内核的基础上，集成了丰富的视觉相关的IP，包括视频处理单元ISP、AI加速器NPU，视觉编解码等，以及各种以太网、DDR等接口。

整体来说，齐感科技边缘侧视觉SOC，相对来说集成度、复杂度相当高。刁勇表示，即使如此，在与客户接触交流的时候发现，客户用这样的芯片，快速开发相对应的AI视觉边缘侧最终的产品，还是存在蛮大的挑战。

根据客户的痛点，可以总结出三点：一是复杂的边缘侧SOC和复杂的硬件系统设计，对于客户来说是非常大的挑战；二是AI算法，因为边缘侧应用场景比较多，算法相对来说要求比较多；三是边缘侧的应用场景非常多元化、碎片化，怎么利用之前的经验来应对不同的场景的需求，也是一个很大的挑战。

对于现在边缘AI在落地方面的困难，有行业人士也向电子发烧友表示，主要体现在几个方面：其一，当前边缘AI还缺乏整体的解决方案，大量供应商的算力、算法和应用是割裂的，最终用户能看到的满足落地需求的选择不多。我们知道，现在很多情况，算力和算法由不同的厂商提供，而且提供算力和算法的厂商，对一些行业的应用场景不熟悉，理解不够。

其二，边缘端也缺乏针对性的AI算力，现在很多情况，是在原来SOC的基础上增加AI引擎，这种方式很难满足边缘AI算力的需求。一般来说，目前SOC的AI算力普遍在4T以下，现在也有一些能够达到6T，这确实能够满足一些场景的应用，不过很多边缘端场景对算力的需求普遍在8T到20T，可见合适算力的边缘AI芯片还处于缺乏状态。

总结来说，边缘AI应用场景比较多元、长尾化，行业属性比较明显。在算法方面，不同场景对算法的需求不同，要求比较高；在算力方面，很多情况由SOC添加AI引擎的方式提供算力，一些场景对SOC算力集成度、功耗的要求高，同时非常多场景SOC的算力不足以支持应用，而对于客户来说，有针对性的边缘算力芯片还不够；另外算法、算力割裂的情况，以及对应用场景累积不够的情况，也是当前边缘AI落地过程中遇到的难点。

小结从目前的情况来看，边缘AI的应用场景越来越丰富，并且在诸多方面已经形成规模。不过整体而言，边缘AI应用场景碎片化明显，对算法要求高，目前还存在针对性算力缺乏，整体解决方案缺乏等问题，对于芯片、算法厂商来说，还需要继续投入研发，边缘AI供应商们也需要有足够耐心，需要足够下沉，去真正理解不同行业的切实需求。

审核编辑：彭静