还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

嵌入式边缘AI应用开发简化指南

电子设计 来源:电子设计 作者:电子设计 2022-06-30 17:01 次阅读

如果在没有嵌入式处理器供应商提供的合适工具和软件的支持下,既想设计高能效的边缘人工智能(AI)系统,同时又要加快产品上市时间,这项工作难免会冗长乏味。面临的一系列挑战包括选择恰当的深度学习模型、针对性能和精度目标对模型进行训练和优化,以及学习使用在嵌入式边缘处理器上部署模型的专用工具。

从模型选择到在处理器上部署,TI可免费提供相关工具、软件和服务,为您深度神经网络(DNN)开发工作流程的每一步保驾护航。下面让我们来了解如何不借助手动工具或手动编程来选择模型、随时随地训练模型并将其无缝部署到TI处理器上,从而实现硬件加速推理。

pYYBAGK9VtKABwXwAAApWwIoSP0656.jpg

图1:边缘AI应用的开发流程

第1步:选择模型

边缘AI系统开发的首要任务是选择合适的DNN模型,同时要兼顾系统的性能、精度和功耗目标。GitHub上的TI边缘AI Model Zoo等工具可助您加速此流程。

Model Zoo广泛汇集了TensorFlow、PyTorch和MXNet框架中常用的开源深度学习模型。这些模型在公共数据集上经过预训练和优化,可以在TI适用于边缘AI的处理器上高效运行。TI会定期使用开源社区中的新模型以及TI设计的模型对Model Zoo进行更新,为您提供性能和精度经过优化的广泛模型选择。

Model Zoo囊括数百个模型,TI模型选择工具(如图2所示)可以帮助您在不编写任何代码的情况下,通过查看和比较性能统计数据(如推理吞吐量、延迟、精度和双倍数据速率带宽),快速比较和找到适合您AI任务的模型。

poYBAGK9VtWASGZAAACA_uYtv_0551.png

图2:TI模型选择工具

第2步:训练和优化模型

选择模型后,下一步是在TI处理器上对其进行训练或优化,以获得出色的性能和精度。凭借我们的软件架构和开发环境,您可随时随地训练模型。

从TI Model Zoo中选择模型时,借助训练脚本可让您在自定义数据集上为特定任务快速传输和训练模型,而无需花费较长时间从头开始训练或使用手动工具。训练脚本、框架扩展和量化感知培训工具可帮助您优化自己的DNN模型。

第3步:评估模型性能

在开发边缘AI应用之前,需要在实际硬件上评估模型性能。

TI提供灵活的软件架构和开发环境,您可以在TensorFlow Lite、ONNX RunTime或TVM和支持Neo AI DLR的SageMaker Neo运行环境引擎三者中选择习惯的业界标准Python或C++应用编程接口(API),只需编写几行代码,即可随时随地训练自己的模型,并将模型编译和部署到TI硬件上。在这些业界通用运行环境引擎的后端,我们的TI深度学习(TIDL)模型编译和运行环境工具可让您针对TI的硬件编译模型,将编译后的图或子图部署到深度学习硬件加速器上,并在无需任何手动工具的情况下实现卓越的处理器推理性能。

在编译步骤中,训练后量化工具可以自动将浮点模型转换为定点模型。该工具可通过配置文件实现层级混合精度量化(8位和16位),从而能够足够灵活地调整模型编译,以获得出色的性能和精度。

不同常用模型的运算方式各不相同。同样位于GitHub上的TI边缘AI基准工具可帮助您为TI Model Zoo中的模型无缝匹配DNN模型功能,并作为自定义模型的参考。

评估TI处理器模型性能的方式有两种:TDA4VM入门套件评估模块(EVM)或TI Edge AI Cloud,后者是一项免费在线服务,可支持远程访问TDA4VM EVM,以评估深度学习推理性能。借助针对不同任务和运行时引擎组合的数个示例脚本,五分钟之内便可在TI硬件上编程、部署和运行加速推理,同时收集基准测试数据。

第4步:部署边缘AI应用程序

您可以使用开源Linux®和业界通用的API来将模型部署到TI硬件上。然而,将深度学习模型部署到硬件加速器上只是难题的冰山一角。

为帮助您快速构建高效的边缘AI应用,TI采用了GStreamer框架。借助在主机Arm®内核上运行的GStreamer插件,您可以自动将计算密集型任务的端到端信号链加速部署到硬件加速器和数字信号处理内核上。

图3展示了适用于边缘AI的Linux Processor SDK的软件栈和组件。

poYBAGK9VtiANjlmAABs7NMzZc4074.png

图3:适用于边缘AI的Linux Processor SDK组件

结语

如果您对本文中提及的工具感到陌生或有所担忧,请放宽心,因为即使您想要开发和部署AI模型或构建AI应用,也不必成为AI专家。TI Edge AI Academy能够帮助您在自学、课堂环境中通过测验学习AI基础知识,并深入了解AI系统和软件编程。实验室提供了构建“Hello World” AI应用的分步代码,而带有摄像头捕获和显示功能的端到端高级应用使您能够按照自己的节奏顺利开发AI应用。

审核编辑 黄昊宇

  • 嵌入式处理
    +关注

    关注

    0

    文章

    196

    浏览量

    8759
  • AI
    AI
    +关注

    关注

    85

    文章

    20431

    浏览量

    238869
收藏 人收藏

    评论

    相关推荐

    瑞为入选国家级专精特新“小巨人”企业名单

    近期,工业和信息化部开展了第四批专精特新“小巨人”企业培育和第一批专精特新“小巨人” 企业复核工作。....
    发表于 08-16 18:24 57次 阅读

    AI辅助诊断失智症与脸部情绪识别

    依失智症病程,可使用不同AI技术辅助病征的判定,在轻度认知障碍期(Mild Cognitive Im....
    的头像 DIGITIMES 发表于 08-16 15:30 196次 阅读

    踏歌智行荣登国家级专精特新“小巨人”名单

    近日,第四批国家级专精特新“小巨人”名单发布,踏歌智行成功上榜。“专精特新”是指专业化、精细化、特色....
    的头像 踏歌智行 发表于 08-16 14:17 85次 阅读

    考拉悠然的AI扬尘治理解决方案入选BPAA第二届应用算法实践典范TOP100

    8月13日,全球算法最佳实践典范大赛(BPAA)第二届应用算法实践典范TOP100榜单公布,考拉悠然....
    的头像 话说科技 发表于 08-16 13:30 252次 阅读
    考拉悠然的AI扬尘治理解决方案入选BPAA第二届应用算法实践典范TOP100

    使用TensorFlow Lite设计基于TPU的AI解决方案

      这不仅限于广告,年龄和性别检测还可以通过管理零售店的适当支持人员,人们更喜欢访问您的商店,企业的....
    的头像 星星科技指导员 发表于 08-16 11:44 50次 阅读
    使用TensorFlow Lite设计基于TPU的AI解决方案

    用神经处理单元集群改造边缘人工智能

      为了满足 AI 应用日益增长的性能和复杂需求,NXP NPU IP 内核提供了高性能、可扩展的实....
    的头像 星星科技指导员 发表于 08-16 11:41 48次 阅读
    用神经处理单元集群改造边缘人工智能

    思必驰智能语音报警器带来智能骑行新体验

    “方便、快捷、环保”的两轮电动车已成为上班通勤、城市配送、校园代步、休闲娱乐等短途出行场景的重要代步....
    的头像 思必驰 发表于 08-16 11:27 148次 阅读

    边缘设备中计算机视觉和语音的AI推理加速器应用

      SiFive 将 RISC-V 处理器 IP 引入其下一代 AI 推理加速器,为边缘设备中的计算....
    的头像 星星科技指导员 发表于 08-16 11:24 42次 阅读

    NVIDIA助力Telexistence在全家便利店部署补货机器人

    总部位于东京的初创企业 Telexistence 宣布将在日本数百家全家(FamilyMart)便利....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-16 09:26 106次 阅读

    微软开源工具可轻松地测试和训练AI驱动的无人机

    Airtonomy成功的秘诀何在?答案就藏在微软7月在范堡罗国际航展(Farnborough Int....
    发表于 08-16 09:16 56次 阅读

    基于百度云的AI接口调用

    人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、....
    的头像 嵌入式技术 发表于 08-16 09:05 63次 阅读
    基于百度云的AI接口调用

    使用Omniverse Replicator构建自定义合成数据生成管道

      在 NVIDIA, ISAAC Sim DRIVE Sim 团队利用 Omniverse Rep....
    的头像 星星科技指导员 发表于 08-15 15:53 40次 阅读
    使用Omniverse Replicator构建自定义合成数据生成管道

    加速计算是药物研发大众化的关键

      今天, GPU 正在加速计算机辅助药物发现工作流程的每一步,从目标阐明到 FDA 批准,在所有方....
    的头像 星星科技指导员 发表于 08-15 15:47 39次 阅读

    语音AI简介

      能够成功地将语音 AI 技术集成到其核心运营中的组织将具备良好的能力,能够根据尚未列出的用例扩展....
    的头像 星星科技指导员 发表于 08-15 15:44 94次 阅读
    语音AI简介

    AI正在改变企业管理边缘应用程序的方式

      为了帮助企业快速起步,我们创建了 NVIDIA LaunchPad ,这是一个免费的程序,提供对....
    发表于 08-15 14:52 73次 阅读
    AI正在改变企业管理边缘应用程序的方式

    使用Clara Holoscan SDK增强AI医疗设备流式处理工作流

      NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系统....
    的头像 星星科技指导员 发表于 08-15 14:50 62次 阅读
    使用Clara Holoscan SDK增强AI医疗设备流式处理工作流

    使用ISAAC Sim加速AI机器人的开发、测试和培训

      在最新版本中,添加了一个名为 SceneBlox 的新 SDG 功能,以按程序生成场景。 Sce....
    的头像 星星科技指导员 发表于 08-15 14:34 43次 阅读

    商汤绝影联合临港捷运开展L4级自动驾驶小巴试乘体验活动

    方向盘自主转动,稳健穿梭各类复杂路况……在美丽的滴水湖畔,商汤的自动驾驶技术吸引了大量上海市民前来体....
    发表于 08-15 11:15 100次 阅读

    AutoAI在人工智能全生命周期中自动建模

    整个建模过程端到端的自动化可以显著节省资源。AutoAI显著提高了生产力,只需点击几下鼠标,即使是只....
    的头像 AI芯天下 发表于 08-15 11:08 71次 阅读

    定制处理器的设计挑战

    在最新的周期性发展热潮的刺激下,半导体行业进入了定制处理器的新黄金时代,但是这次“定制处理器”意味着....
    的头像 FPGA之家 发表于 08-15 09:04 69次 阅读

    油气站如何安全科学的实现降本增效

    这次的加油站油品注水事件,可算是严重的油气站安全事故。可能在卸油、巡检、作业、人员管理等多个环节都出....
    的头像 弘和人工智能 发表于 08-14 17:30 204次 阅读

    3D设计协作和世界仿真平台NVIDIA Omniverse的更新内容

    在全球最大的计算机图形盛会 SIGGRAPH 上,NVIDIA 宣布要为使用实时 3D 设计协作和世....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 11:00 220次 阅读

    通过NVIDIA DeepSearch工具提升天空制作效果

    知名工作室利用 Omniverse AI 助力的搜索工具筛选庞大的 3D 场景数据库。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 11:00 177次 阅读

    NVIDIA发布NeuralVDB 可将内存占用量减少高达100倍

    NeuralVDB 可将烟雾、云和其他稀疏体积数据的内存占用量减少多达 100 倍。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:58 246次 阅读

    NVIDIA通过Vid2Vid Cameo演示表演捕捉技术

    Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid C....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-14 10:49 176次 阅读

    采用百度飞桨EasyDL完成指定目标识别

    EasyDL从2017年11月中旬起,在国内率先推出针对AI零算法基础或者追求高效率开发的企业用户的....
    的头像 DS小龙哥-嵌入式技术 发表于 08-14 10:30 157次 阅读

    百度飞桨及文心大模型赋能千行百业

    2021中国自动化大会2022年8月11日至13日在云南昆明举办,多位院士、专家参会并做特邀报告。中....
    发表于 08-14 09:31 70次 阅读

    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

     电子发烧友原创 章鹰   近期,机器视觉赛道升温,主要有两家公司传来好消息。首先,华为在8月8日正....
    的头像 章鹰观察 发表于 08-14 00:00 1301次 阅读
    培育20家亿元合作伙伴!华为点燃机器视觉赛道 新战略和新品火爆登场

    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

      总部位于东京的初创企业 Telexistence 本周宣布将在日本数百家全家(FamilyMar....
    发表于 08-12 17:54 127次 阅读
    穿梭于货架之间的AI:数百家日本便利店开始使用机器人补货

    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    ABI的研究调查表明,预计到2024年设备端的AI推理功能将覆盖近60%的设备。FPGA作为实现边缘....
    的头像 花茶晶晶 发表于 08-12 16:39 763次 阅读
    边缘AI推理将覆盖60%设备,莱迪思FPGA+sensAI 4.1组合拳如何打?

    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    人工智能在大数据分析应用的作用越来越大,更多的专业数据分析也开始采用上基于英伟达AI 技术来大幅提升....
    的头像 电子麦克风 发表于 08-12 16:32 775次 阅读
    英伟达AI技术 助体育运动大数据分析和收集提升内容价值

    NVIDIA SIGGRAPH的最新发布与重要更新

    在今年的 SIGGRAPH 2022 上,NVIDIA 宣布,为基于通用场景描述(USD)连接和构建....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:14 130次 阅读

    NVIDIA谈引发图形革命的三大驱动力

    AI、虚拟世界和数字人正在推动视觉设计进入更宽广的轨道。
    的头像 NVIDIA英伟达企业解决方案 发表于 08-12 11:12 146次 阅读

    Kneron的3D AI解决方案满足安全防范和现代化管理需求

    Kneron创办人暨执行长刘峻诚表示:“Kneron致力于发展人工智能在终端装置上的应用,3D AI....
    发表于 08-12 10:15 83次 阅读

    瑞为智慧机场解决方案覆盖全国2/3的千万级机场

    扎根租住行业的7年,深圳市优电智能有限公司(以下简称“优电智能”)的创始团队对这句话的理解应该更加深....
    的头像 瑞为技术Reconova 发表于 08-12 09:02 155次 阅读

    为什么智能医院的医疗级平板电脑

      具有 3D 医学成像功能的 MXM 显卡还将医学成像提升到一个新的水平,并且还允许集成网络摄像头....
    的头像 星星科技指导员 发表于 08-11 15:59 353次 阅读

    通信周动态

    行业相关 1、筑路数字经济 中兴通讯携创新终端产品亮相2022世界5G大会 8月10日,中兴通讯亮相....
    的头像 研精毕智 发表于 08-11 15:33 229次 阅读

    下一代人工智能基础设施的特征

    自动驾驶领域在近两年被大家所熟悉,主要的市场诱导因素是Tesla在辅助智能驾驶和采用全视觉技术的影子....
    发表于 08-11 10:02 86次 阅读

    零距离了解昇腾AI的软硬件能力

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 华为数字中国 发表于 08-11 09:54 462次 阅读

    基于昇腾AI的MoloSight针对不同的使用场景提供3种不同版本选择

    近日,基于昇腾AI,摩赛恩与华为携手推出质谱智能计算系统MoloSight,并正式加入昇腾万里伙伴计....
    的头像 华为计算 发表于 08-11 09:49 283次 阅读

    2024年设备端AI推理功能将覆盖近60%的设备

    去年莱迪思发布了sensAI 4.1解决方案,当时介绍的一个典型案例是用于PC智能和感知体验。如今,....
    的头像 电子发烧友网 发表于 08-11 09:32 221次 阅读

    NVIDIA Jetson TX2 NX GPU助力微链DaoAI加速数据处理

    微链 DaoAI是市场领先的3D 视觉和 AI 机器人系统供应商,拥有全球领先的 3D 视觉认知技术....
    的头像 NVIDIA英伟达企业解决方案 发表于 08-11 09:31 147次 阅读

    NVIDIA发布Omniverse重要版本

    NVIDIA 新发布的工具和功能包括:Avatar Cloud Engine;DeepSearch ....
    的头像 NVIDIA英伟达 发表于 08-11 09:29 101次 阅读

    全新NVIDIA Omniverse ACE加速虚拟形象开发工作

    Omniverse Avatar Cloud Engine(ACE)为游戏、聊天机器人、数字孪生和虚....
    的头像 NVIDIA英伟达 发表于 08-11 09:24 160次 阅读

    NVIDIA 将为StreamLake释放更多视频云计算能力

    8 月 10 日,快手 StreamLake 品牌发布会正式举办,以“云启共生·水润万象”为主题,推....
    的头像 NVIDIA英伟达 发表于 08-11 09:19 164次 阅读

    参天生长大模型:昇腾AI如何强壮模型开发与创新之根?

    自2018年谷歌发布BERT以来,预训练大模型经过几年的发展,以强大的算法效果,席卷了以NLP为代表....
    的头像 脑极体 发表于 08-11 09:10 552次 阅读

    MediaTek APU以DLA VPU为核心 高能效AI赋能全场景体验

    为新趋势而生 MediaTek APU 以深度学习加速器(DLA)、视觉处理单元(VPU),以及基于....
    发表于 08-10 19:30 112次 阅读

    小成本的V853 AI小开发板DIY设计

    全志最新发布的V853芯片拥有1T的NPU算力,还有Arm+RISC-V+NPU三核异构和丰富的音视....
    的头像 全志在线 发表于 08-10 17:36 113次 阅读

    AI+边缘计算,让城市治理难题“看得见”

    国家“十四五”规划纲要强调“加快数字化发展,建设数字中国”,提出“以数字化助推城乡发展和治理模式创新....
    的头像 英码科技 发表于 08-10 16:59 161次 阅读
    AI+边缘计算,让城市治理难题“看得见”

    基于NI USRP高思科技通感一体科研平台 赋能更多细分应用

    随着6G行至深处,作为其关键技术之一的通信感知一体化(ISAC)的研究获得了高度关注。通信感知一体化....
    的头像 恩艾NI知道 发表于 08-10 14:22 370次 阅读

    如何为嵌入式处理设计选择合适的开发工具?

    如何为嵌入式处理设计选择合适的开发工具?
    发表于 04-29 06:24 1075次 阅读

    小型电池供电器件中低静态电流的解决办法

    得益于小型化、Bluetooth®通信和处理方面的进步,现代助听器具有比以往更多的功能,从流媒体音乐到能够通过智能手机上的应用程...
    发表于 10-27 08:11 1259次 阅读