电子发烧友网>嵌入式技术> > 正文

嵌入式AI需要什么样的解决方案

2021年10月20日 16:49 次阅读

近年来,AI在边缘端的应用已成为不可阻挡的趋势,嵌入式AI指的就是这种在边缘端即可高效处理各种深度学习神经网络的应用加速模式。嵌入式AI能够让产品在设备层即可发挥智能化的检测、识别、分类等功能,因此成为智能产品开发或产业升级换代的热点。

然而,嵌入式AI不仅涉及软件层面的算法设计,工具设计,也涉及硬件层面的芯片设计等一系列集成问题,因此也是一个门槛和复杂度极高的领域。

嵌入式AI/ML的主要应用市场及趋势

ADAS 和自动驾驶、智慧城市、智慧医疗和工业视觉应用,是嵌入式 AI 应用的典型场景,也是赛灵思 一直专注的市场领域。

汽车领域

在汽车领域,赛灵思主要关注前视、后视、环视、盲区检测、自动泊车、智能座舱及、传感器融合和域控等覆盖从L2到L5级别的ADAS及自动驾驶。我们知道,汽车是一个特殊的场景,它对整个ADAS或自动驾驶系统的实时性和正确性有极高的要求,这就需要嵌入式芯片同时具备卓越的AI加速能力、灵活应变的芯片架构,还需要满足行业最高的可靠性测试标准。赛灵思在今年6月份推出的7nm VersalTM AI Edge 系列,和当前ZynqTM UltraScale+ MPSoC系列,都涵盖了汽车等级,并提供行业领先的AI算力及灵活性。

值得一提的是,为了保证车辆行驶中决策和控制的快速性及正确性,多传感器融合是一个必然的趋势。如今,汽车搭载了越来越多的传感器,如摄像头、雷达、激光雷达、毫米波雷达、超声波等,赛灵思也为这种多传感器架构带来了巨大价值。赛灵思产品一方面能够增强高级信号处理、点云预处理,另一方面,通过ViTIs AI还可以实现点云机器学习加速、Image-Lidar融合算法加速、4D 雷达机器学习加速等;这些在汽车多传感器方案,甚至5G结合AI的车路协同中都扮演重要的角色。

智慧城市领域

今年4月,赛灵思面向边缘计算推出了基于Zynq UltraScale+ MPSoC的Kria K26 SOM卡和KV260视觉开发套件。同样得益于ViTIsTM AI所带来的AI性能加速,用户能够在这块边缘设备上实现多路、最高分辨率达4k、60帧的实时人脸检测、ID跟踪等功能;此外,Kria SoM也完全兼容赛灵思开放式AI模型库,用户可以从中选取模型任意切换或重新训练部署,总之,Kria SoM非常适合智能相机、嵌入式视觉及其它安全、零售分析、智慧城市和机器视觉应用的生产和原型开发。

poYBAGFv2FKAfxRPAAG8cqjyKsg375.png

医疗及工业视觉领域

医疗及工业视觉领域也是赛灵思嵌入式AI落地的重要场景。在医疗领域,我们可以提供基于深度学习的医疗影像分析或超分辨率增强,用AI为医护人员在内窥镜、超声、核磁、X光检测等场景提供更准确的判断。自2019年新冠病毒蔓延以来,赛灵思及业内合作伙伴Spline.ai利用ViTIs AI,将集成了深度学习处理单元DPU的MPSoC边缘器件和AWS物联网服务结合,针对肺部感染及新冠病毒预测系统开发了可扩展的智能解决方案。

工业视觉领域

在工业视觉领域,赛灵思产品也在智慧工厂、智能工业相机、视觉控制及机器人等方面发挥重要的影响力,AI的作用主要体现在缺陷检测、文字识别、实时分析等机器学习支持的预测性维护控制、远程诊断等嵌入式端上智能化。

嵌入式AI场景落地的挑战及解决方案

在嵌入式AI产品落地的过程中,开发者遇到的挑战主要是:

  • l首先,该方案是否灵活可扩展,能够适配不同产品规模或自定义模块?
  • l其次,对于缺乏FPGA开发经验的用户,是否有简单易用的AI开发工具以降低开发难度?
  • l第三,如何突破瓶颈,在算力有限的边缘端实现AI加速性能的最大化?

为了应对这些挑战,赛灵思在2020年初正式推出了ViTIs AI解决方案,它是一套面向Xilinx Zynq SoC,Zynq MPSoC,Alveo及Versal ACAP的AI开发平台,它能够为用户带来最强大的机器学习加速性能,这主要通过方案中的神经网络加速引擎DPU、一系列自动化软件工具(定点器、编译器、优化器)和AI运行时及加速库来实现。

pYYBAGFv2FuALP0bAAFSE5nnDM0386.png

与传统的基于硬件RTL语言开发AI加速IP方案的最大不同在于,Vitis AI向用户提供一个通用的且可配置的神经网络加速引擎DPU,在ZU+及Versal平台上用户可以根据实际的逻辑资源选择最佳的DPU配置,最大处理效率超过80%;同时,在最新的Vitis AI方案中,用户可以通过调用Graph Runner API实现在DPU和CPU上对自定义算子的流畅部署,这也保证了开发者可以在不同大小的器件、不同模型之间灵活切换。

其次,Vitis AI可以支持主流的机器学习框架,如Pytorch,Tensorflow和Caffe;在开放模型库AI Model Zoo中涵盖了上百个经过充分优化、验证及硬件部署的模型文件,其中不乏业界最先进的3D目标检测算法、多任务学习算法、超分辨率增强算法,或时下流行的Yolo、Mobilenet、RefineDet、ResNet系列,用户可以免费下载或基于不同场景数据集的重新训练。

此外,针对嵌入式AI的部署环节,赛灵思也做了专门的软件加速优化,除了用自动化的定点器和编译器将模型转化为可部署形式外,用户还可以直接调用相应的软件加速库AI Library,无需额外开发模型的前后处理模块,从而实现在FPGA和ACAP上的快速部署。

最后,为了帮助客户实现边缘端的性能突破,赛灵思在基于Vitis软件开发环境中,集成了大量经过底层优化的加速库,通过C++++、OpenCL library的方式提供给用户,所以除了DPU对AI部分的加速以外,我们对端到端的前处理、后处理的全流程都可以加速,这样即可实现边缘端上的最大化性能。

赛灵思是深耕嵌入式领域数十年的可编程逻辑器件主要供应商,公司 转型后成为基于FPGA 器件的自适应计算平台供应商。几年前通过新一代自适应计算架构 ACAP 的推出,以及人工智能科技公司深鉴科技的收购,在嵌入式AI 领域日益扮演重要角色。尤其是随着Vitis AI 的 推出,让高性能、灵活应变的赛灵思自适应计算平台,从来没有像今天这样与开发者和科学家们如此开始友好,不需要硬件设计知识,也不需要耗费精力在硬件平台,就能快速将自己的嵌入式创意变成现实。我们希望携手越来越多的开发者,将各种各样的创新产品推向市场。

郭冰清,Xilinx软件与AI市场部门,AI产品市场经理

pYYBAGFv2EeAP_qqAABqxy5ro7E949.png

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

MediaTek举办天玑旗舰技术媒体沟通会,先进...

2021年10月20日,MediaTek举办天玑旗舰技术媒体沟通会,分享了基于天玑5G移动平台的多领....
发表于 2021-10-20 18:20 16次阅读
MediaTek举办天玑旗舰技术媒体沟通会,先进...

矩池云亮相PyConChina 释放AI创新潜能

2021年10月16日,Python开发者大会PyCon China 2021于线上举行,这是PyC....
发表于 2021-10-20 17:52 80次阅读
矩池云亮相PyConChina 释放AI创新潜能

2021地平线开发者加速营交流活动在南京圆满举办

9月28日,2021地平线开发者加速营交流活动在南京圆满举办。活动由地平线主办,第一创客、Segme....
发表于 2021-10-20 17:34 88次阅读
2021地平线开发者加速营交流活动在南京圆满举办

在嵌入式中如何区别核心板?

发表于 2021-10-20 11:11 0次阅读
在嵌入式中如何区别核心板?

单片机和嵌入式的区别在哪

什么是嵌入式?单片机和嵌入式的区别在哪?...
发表于 2021-10-20 07:36 0次阅读
单片机和嵌入式的区别在哪

嵌入式系统是如何定义的

嵌入式系统是什么? 一个嵌入式系统装置是由哪些部分组成的? ...
发表于 2021-10-19 12:55 0次阅读
嵌入式系统是如何定义的

如何用STM32嵌入式实现智能家居控制系统呢

如何用STM32嵌入式实现智能家居控制系统呢? 智能家居控制系统有哪些功能呢? ...
发表于 2021-10-19 09:40 0次阅读
如何用STM32嵌入式实现智能家居控制系统呢

瑞芯微RK3399开发板香橙派4使用 VNC 远程登录的方法

1) 执行下面命令安装 tightvncserver   2) 在安装完成后进行 VNC 服务器的初始配置,可以使用 vncser...
发表于 2021-10-18 16:19 202次阅读
瑞芯微RK3399开发板香橙派4使用 VNC 远程登录的方法

怎样系统地去学习嵌入式呢

嵌入式系统是如何定义的? 可从哪几方面来理解嵌入式系统呢? ...
发表于 2021-10-18 06:54 0次阅读
怎样系统地去学习嵌入式呢

牛!当杂草遇到“黑科技”,智能割草机完胜!

杂草丛生,人工除草太麻烦! 今天,给大家介绍一款神器『智能割草机』既能美化草坪,又能解放双手,省时省力! ...
发表于 2021-10-15 15:49 101次阅读
牛!当杂草遇到“黑科技”,智能割草机完胜!

RISC-V MCU开发 (十一):跨内核工程转换

    大多数嵌入式工程师使用Keil进行开发,但Keil目前不支持RISC-V内核,只支持ARM内核。MounR...
发表于 2021-10-15 10:05 101次阅读
RISC-V MCU开发 (十一):跨内核工程转换

你知道怎样去绘制嵌入式硬件的原理图吗

你知道怎样去绘制嵌入式硬件的原理图吗?...
发表于 2021-10-15 09:32 0次阅读
你知道怎样去绘制嵌入式硬件的原理图吗

C语言在DSP开发中的应用是什么

DSP是什么?定点DSP和浮点DSP有何区别?C语言在DSP开发中的应用是什么?...
发表于 2021-10-15 07:47 0次阅读
C语言在DSP开发中的应用是什么