还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

使用TensorFlow Lite设计基于TPU的AI解决方案

星星科技指导员 来源:嵌入式计算设计 作者: Rakesh R Nakod 2022-08-16 11:44 次阅读

如今,人工智能已经无处不在,从个人设备到企业应用程序,随处可见。物联网的出现伴随着对数据隐私、低功耗、低延迟和带宽限制的日益增长的需求,越来越多地推动人工智能模型在边缘而不是云端运行。

根据 Grand View Research 的数据,2019 年全球边缘人工智能芯片市场价值 18 亿美元,预计从 2020 年到 2027 年将以 21.3% 的复合年增长率增长。在此之初,谷歌推出了 Edge TPU,也称为 Coral TPU,这是其专用于在边缘运行 AIASIC。它旨在提供出色的性能,同时占用最小的空间和功率。

当我们训练一个 AI 模型时,我们最终会得到具有高存储要求和 GPU 处理能力的 AI 模型。我们无法在内存和处理空间不足的设备上执行它们。TensorFlow Lite 在这种情况下很有用。TensorFlow Lite 是一个在 Edge TPU 上运行的开源深度学习框架,允许在设备上进行推理和 AI 模型执行。另请注意,TensorFlow Lite 仅用于在边缘执行推理,而不用于训练模型。要训练 AI 模型,我们必须使用 TensorFlow。

结合 Edge TPU 和 TensorFlow Lite

当我们谈论在 Edge TPU 上部署 AI 模型时,我们无法部署任何 AI 模型。

Edge TPU 支持 NN(神经网络)操作和设计,以实现低功耗的高速神经网络性能。除特定网络外,它仅支持 Edge TPU 的 8 位量化和编译的 TensorFlow Lite 模型。

简单总结一下,TensorFlow Lite 是专为移动和嵌入式设备设计的轻量级 TensorFlow。它以小存储大小实现低延迟结果。TensorFlow Lite 转换器允许将基于 TensorFlow 的 AI 模型文件 (.pb) 转换为 TensorFlow Lite 文件 (.tflite)。以下是在 Edge TPU 上部署应用程序的标准工作流程。

pYYBAGL7ErSAfB9WAABcFGXH_Xs631.png

Edge TPU 上的应用部署

让我们看一些可以在边缘 TPU 上使用 TensorFlow Lite 构建的有趣的实际应用程序。

人体检测和计数

这个解决方案有很多实际应用,特别是在商场、零售、政府机关、银行和企业中。人们可能想知道如何检测和计数人类。数据现在具有时间和金钱的价值。让我们看看如何使用来自人类检测和计数的见解。

估计客流量:对于零售业来说,这很重要,因为它可以判断他们的商店是否经营良好。他们的展示是否吸引顾客进入商店。它还可以帮助他们了解是否需要增加或减少支持人员。对于其他组织,它们有助于为人们采取适当的安全措施。

人群分析和队列管理:对于政府办公室和企业,通过人工检测和计数进行队列管理有助于他们管理更长的队列并节省人们的时间。学习队列可以归因于个人和组织的表现。人群检测可以帮助分析紧急情况、安全事件等的人群警报,并采取适当的行动。当部署在边缘时,此类解决方案可提供最佳结果,因为可以接近实时地采取所需的操作。

基于年龄和性别的定向广告。

该方案主要在零售和广告行业有实际应用。想象一下,您走向正在展示女鞋广告的广告显示屏,然后突然广告变为男鞋广告,因为它确定您是男性。有针对性的广告可以帮助零售商和制造商更好地定位他们的产品,并创造普通人在忙碌的生活中永远看不到的品牌知名度。

这不仅限于广告,年龄和性别检测还可以通过管理零售店的适当支持人员,人们更喜欢访问您的商店,企业的年龄和性别等来帮助企业快速做出决定。所有这些都更强大,更如果您很快确定并采取行动,则有效。因此,更有理由在 Edge TPU 上使用此解决方案。

人脸识别

第一个人脸识别系统建于 1970 年,至今仍在开发中,变得更加强大和有效。在边缘进行人脸识别的主要优势是实时识别。另一个优点是在边缘进行人脸加密和特征提取,只需将加密和提取的数据发送到云端进行匹配,从而保护人脸图像的 PII 级隐私(因为您不会将人脸图像保存在边缘和云端)并遵守严格的隐私法。

Edge TPU 与 TensorFlow Lite 框架相结合,开启了多个边缘 AI 应用机会。由于该框架是开源的,开源软件 (OSS) 社区也支持它,使其在机器学习用例中更受欢迎。TensorFlow Lite 的整体平台增强了嵌入式和物联网设备边缘应用程序增长的环境。

审核编辑:郭婷

  • AI
    AI
    +关注

    关注

    85

    文章

    20672

    浏览量

    237484
  • 人脸识别
    +关注

    关注

    71

    文章

    3532

    浏览量

    76652
  • 机器学习
    +关注

    关注

    65

    文章

    6483

    浏览量

    121796
收藏 人收藏

    评论

    相关推荐

    AI走向何方?我们在GTC 2022看到了这些趋势

    能被称作科技“春晚”的大会不多,GTC算是其中公认一个。不仅大量游戏爱好者为之吸引,更有更多观众奔着....
    的头像 脑极体 发表于 09-23 19:23 229次 阅读

    戴尔在量子计算领域创新与实践并行

    遇事不决,量子力学;脑洞不够,平行宇宙。相信你一定刷到过“量子力学”的梗,这种看似很遥远的科技常常被....
    的头像 city_prolove 发表于 09-23 16:03 85次 阅读

    海康智能安检产品助力持续提升智慧安检水平

    在AI的加持下,海康智能安检产品快速检测、精准识别,助力大幅提升安检效能。
    的头像 海康威视 发表于 09-23 14:38 214次 阅读

    下一代人工智能基础设施的产品和服务是什么样的

    下一代人工智能基础设施的产品和服务是什么样的?
    发表于 09-23 14:05 60次 阅读

    特控工控机在锂电行业AI视觉检测中的应用

    特控IPC-H610高性能4U上架式工控机通过AI深度学习软件+硬件解决方案为核心完成对锂电池封边缺....
    发表于 09-23 13:40 9次 阅读
    特控工控机在锂电行业AI视觉检测中的应用

    ​壹沓数字机器人,助力5A级综合物流企业「飞力达」打造智慧供应链

    近日,壹沓科技宣布与5A级综合物流服务企业「飞力达」签约,基于RPA、AI、大数据等技术优势,通过为....
    发表于 09-23 12:01 94次 阅读

    宝兰德携手华为助力工地安全生产管理领域数智化升级

    近日,基于昇腾AI,北京宝兰德软件股份有限公司(简称:宝兰德)的智能学习平台及智慧工地系列解决方案完....
    的头像 华为计算 发表于 09-23 11:58 103次 阅读

    华为联合伙伴共同孵化超过90个昇腾AI解决方案

    以“数智未来,因你而来”为主题的武汉人工智能·昇腾AI创新大赛湖北赛区总决赛在武汉光谷皇冠假日酒店成....
    发表于 09-23 11:47 71次 阅读

    NVIDIA Isaac Sim机器人仿真平台上云

    新 Omniverse Cloud 平台上的 Isaac Sim 使虚拟机器人的测试和训练更容易实现....
    发表于 09-23 11:37 59次 阅读

    使用docker搭建minio服务

    基于 Spring Cloud Alibaba + Gateway + Nacos + Rocket....
    的头像 倩倩 发表于 09-23 11:08 38次 阅读

    自行科技:一图读懂循环神经网络

    神经网络是机器学习中的一种模型,是一种模仿动物神经网络行为特征,进行信息处理的数学模型。网络通过调整....
    的头像 自行科技 发表于 09-23 09:38 45次 阅读
    自行科技:一图读懂循环神经网络

    IPU正成为未来数据中心里起舞的精灵 面向微服务创新

    日耳曼神话中,有一种名叫戈兰林(Gremlin)的小精灵。传说这种精灵熟悉各种工具和机械,可以帮助能....
    的头像 脑极体 发表于 09-22 18:58 249次 阅读

    高需求和低渗透之间,服务机器人为何规模化落地难?

    产品硬伤难解
    的头像 双目立体视觉 发表于 09-22 17:41 125次 阅读
    高需求和低渗透之间,服务机器人为何规模化落地难?

    机器学习实践中的十条注意点

    像Amazon和Micorosoft这样的云供应商提供云功能的机器学习解决方案,承诺为开发者提供一个....
    的头像 新机器视觉 发表于 09-22 15:21 92次 阅读

    IBM使用AI来帮助监测与跟踪供应链的表现

    近半数(47%)受访首席供应链官表示在过去两年当中引入了新的自动化技术。
    的头像 IBM中国 发表于 09-22 15:02 79次 阅读

    凌华科技推出专为智能交通设计的边缘运算解决方案

    交通运输是社会运作的大动脉,不过在人流、车流数量庞大的特定时、地,这条动脉难免会堵塞,AI智能控制灯....
    的头像 lhl545545 发表于 09-22 14:39 78次 阅读

    模型评估、模型选择和算法选择技术的正确使用

    机器学习已经成为我们生活的中心,无论是作为消费者、客户、研究者还是从业人员。无论将预测建模技术应用到....
    的头像 深度学习自然语言处理 发表于 09-22 14:15 86次 阅读

    昇腾AI方案加速智慧能源新基建的步伐

    昇腾AI方案也已在山东、江苏、浙江、四川、湖南、广东等25+省市部署应用,涵盖输电、变电、配电、用电....
    的头像 华为计算 发表于 09-22 11:18 131次 阅读

    NVIDIA即将推出首批基于开创性 NVIDIA Hopper 架构的产品和服务

    NVIDIA 于今日宣布 NVIDIA H100 Tensor Core GPU 全面投产,NVID....
    的头像 NVIDIA英伟达 发表于 09-22 10:45 144次 阅读

    NVIDIA NeMo最新语言模型服务帮助开发者定制大规模语言模型

    NVIDIA NeMo 大型语言模型(LLM)服务帮助开发者定制大规模语言模型;NVIDIA Bio....
    发表于 09-22 10:42 55次 阅读

    NVIDIA为Terra云平台提供快速分析海量医疗数据所需的AI和加速工具

    NVIDIA 于今日宣布与麻省理工学院和哈佛大学旗下的博德研究所(The Broad Institu....
    的头像 NVIDIA英伟达 发表于 09-22 10:40 184次 阅读

    NVIDIA发布新一代GeForce RTX GPU

    GTC揭开序幕,黄仁勋发布了自然语言理解、元宇宙、游戏和AI技术的最新进展,并介绍了这些成果如何影响....
    的头像 NVIDIA英伟达 发表于 09-22 10:38 144次 阅读

    NVIDIA 发布AI 驱动的性能倍增器NVIDIA DLSS 3

    NVIDIA 发布 NVIDIA DLSS 3--一款由 AI 驱动的性能倍增器,开启 NVIDIA....
    的头像 NVIDIA英伟达 发表于 09-22 10:36 93次 阅读

    NVIDIA携手合作伙伴提供AI赋能的、GPU加速的网络安全平台

    两家公司通过所提供的服务和 NVIDIA AI 加速网络安全平台,助力企业分析海量数据,更快查明威胁....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:03 96次 阅读

    全新混合云NVIDIA应用服务于各种行业用例

    两家公司扩大合作范围,将帮助全球企业轻松构建和运行先进的 AI 与元宇宙服务,包括物联网边缘 AI、....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 10:02 99次 阅读

    NVIDIA推出全新Jetson Orin Nano系统级模组

    NVIDIA 推出全新Jetson Orin Nano 系统级模组,扩充了NVIDIA Jetson....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 09:54 101次 阅读

    NVIDIA IGX平台将推进制造、物流和医疗行业的人机协同

    NVIDIA 推出用于高精度边缘 AI 的NVIDIA IGX 平台,为制造、物流和医疗等行业带来了....
    的头像 NVIDIA英伟达企业解决方案 发表于 09-22 09:52 85次 阅读

    研华IoT案例 AI赋能iDAQ旋转机械预测维护方案

    现今大部分企业依旧沿用传统设备巡检方式进行设备管理,不仅耗费人力,还极易出现设备非计划停机,诱发安全....
    的头像 city_prolove 发表于 09-21 19:57 195次 阅读

    云知声2篇论文参展国际语音顶会INTERSPEECH 2022

    2022年9月18日-22日,全球语音领域顶级会议INTERSPEECH 2022在韩国仁川举办。“....
    的头像 云知声 发表于 09-21 19:50 196次 阅读

    云知声以AI硬实力入选CLOUD 100 CHINA榜单

    近日,靖亚资本和崔牛会联合主办「Cloud 100 China」线上发布会,隆重发布了「Cloud ....
    的头像 云知声 发表于 09-21 19:13 211次 阅读

    科大讯飞人脸比对方案 demo python3语言API文档

    接口说明 基于科大讯飞自研的人脸算法,可实现对比两张照片中的人脸信息,判断是否是同一个人并返回相似度....
    的头像 汽车电子技术 发表于 09-21 17:40 300次 阅读

    AI智能ENC降噪方案

    该AI智能ENC降噪方案能在各种嘈杂环境,消除超过千万种以上类型的环境噪声,完整保留人声。该方案采用....
    的头像 华强北电子方案 发表于 09-21 17:21 146次 阅读

    海康威视数字化医院转型案例

    给大家分享一个海康威视数字化医院的案例。 广州中西医结合医院与海康威视合作展开门诊、住院病房、后勤管....
    的头像 汽车电子技术 发表于 09-21 16:55 292次 阅读
    海康威视数字化医院转型案例

    泰禾卓海“AI智能立式干选机”成功开启智能无水选煤新时代

    9月20日上午,2022世界制造业大会在合肥市滨湖国际会展中心开幕。安徽省委书记、省人大常委会主任郑....
    的头像 lhl545545 发表于 09-21 16:27 268次 阅读

    Stability AI开源图像生成模型Stable Diffusion

    Stable Diffusion 的很多用户已经公开发布了生成图像的样例,Stability AI ....
    的头像 倩倩 发表于 09-21 15:37 126次 阅读

    NVIDIA 推出大型语言模型云服务以推进 AI 和数字生物学的发展

    NVIDIA NeMo 大型语言模型(LLM)服务帮助开发者定制大规模语言模型;NVIDIA Bio....
    发表于 09-21 15:24 126次 阅读
    NVIDIA 推出大型语言模型云服务以推进 AI 和数字生物学的发展

    NVIDIA推出全新Jetson Orin Nano模组支持各种边缘AI和机器人应用

    据Deepu Talla介绍,Orin Nano通过高速I/O和NVIDIA Ampere架构GPU....
    的头像 电子发烧友网 发表于 09-21 15:21 441次 阅读

    锂离子电池的健康状态评估

    准确评估锂离子电池的健康状态对电动汽车的使用至关重要。及早发现性能不足有助于及时维护动力电池系统,同....
    发表于 09-21 11:40 94次 阅读

    EDA的下一次复兴有哪些重大机遇?

    EDA 承受着来自多方面的巨大压力。技术正在快速发展,而 EDA 是难题的基本组成部分,它使我们能够....
    发表于 09-21 11:13 122次 阅读

    一文详解英特尔深度学习加速技术

    自迎来以深度学习为代表的第三次发展浪潮,人工智能技术已被广泛应用在目标检测、图像识别、自然语言处理(....
    发表于 09-21 11:02 132次 阅读

    许东的「AI生命科学」进化史介绍

    简单来说,自旋玻璃理论研究的是物理学中的复杂系统,对于理解无序自旋相互作用系统发挥了非常重要的作用,....
    发表于 09-21 10:54 82次 阅读

    深度学习未来会更好还是走下坡路?

    一直以来,Hinton 坚信深度学习革命的到来。1986 年,Hinton 等人的论文《Learni....
    发表于 09-21 10:47 82次 阅读

    AMD宣布加入PyTorch基金会创始成员 帮助提高加速工作负载的领先性能

    近日,AMD宣布加入新成立的PyTorch基金会并成为创始成员。该基金会将作为非营利性Linux基金....
    的头像 AMD中国 发表于 09-21 10:39 108次 阅读

    考拉悠然董事长申恒涛荣获2022年“科学探索奖”

      9月15日,“科学探索奖”官方发布2022年获奖名单,电子科技大学教授、考拉悠然董事长申恒涛凭借....
    的头像 话说科技 发表于 09-21 10:30 140次 阅读
    考拉悠然董事长申恒涛荣获2022年“科学探索奖”

    使用PyTorch深度解析卷积神经网络

    卷积神经网络(CNN)是一种特殊类型的神经网络,在图像上表现特别出色。卷积神经网络由Yan LeCu....
    发表于 09-21 10:12 145次 阅读

    AI应用于芯片设计会有什么样的改变

    AI将大幅缩短芯片设计所需时间,降低芯片设计公司的人工成本。芯片设计是一个需要不断优化的过程。制造、....
    发表于 09-21 09:59 53次 阅读

    AIO 3399ProC结构图

    电子发烧友网站提供《AIO 3399ProC结构图.txt》资料免费下载
    发表于 09-21 09:53 10次 阅读
    AIO 3399ProC结构图

    全面解析机器学习的应用场景及算法

    在本篇文章中,我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学....
    发表于 09-21 09:47 119次 阅读

    一款“人人可用”的蛋白质设计平台能否带来新气象?

    第二个阶段,随着蛋白质数据库中的结构信息增加,研究人员得以从这些信息中总结出理性经验以及更为复杂的蛋....
    的头像 医健AI掘金志 发表于 09-21 09:34 149次 阅读

    谷歌致力打造更全面的开源机器学习生态

    TensorFlow 数据集(TensorFlow DataSets)是一系列现成的数据集,可用于 ....
    发表于 09-21 09:27 52次 阅读

    【疯壳·AI语音人脸识别教程3】CC3200简介

    CC3200AI实验教程——疯壳·开发板系列CC3200简介   随着工业4.0时代的到来,物联网(IOT)作为这个...
    发表于 09-08 14:01 2919次 阅读
    【疯壳·AI语音人脸识别教程3】CC3200简介

    【疯壳·AI语音人脸识别教程2】系统测试

    CC3200AI实验教程——疯壳·开发板系列系统测试   拿到CC3200AI开发套件之后需要对设备进行注册,否则...
    发表于 09-07 14:51 2758次 阅读
    【疯壳·AI语音人脸识别教程2】系统测试

    特征选择在减少预测推理时间方面的有效性展示

    当我们对数据建模时,首先应该建立一个标准基线方案,然后再通过优化对该方案进行修改。在项目的第一部分中,我们必须要投入时间...
    发表于 09-07 14:46 1509次 阅读

    【疯壳·AI语音人脸识别教程1】开发环境搭建

    CC3200AI 实验教程 ——疯壳·开发板系列 开发环境搭建   CC3200 的开发涉及到多种开发环境及工...
    发表于 09-06 15:02 1018次 阅读
    【疯壳·AI语音人脸识别教程1】开发环境搭建

    智能车目标识别系统的设计实现资料推荐

    1、智能车目标识别系统的实现   首先,简单介绍一下上面提到的各个话题的范围 (Domain),人工智能 (Artifitial Intelli...
    发表于 09-06 14:54 950次 阅读

    【CC3200AI实验教程17】疯壳·AI语音人脸识别-AI人脸注册认证与识别

    CC3200AI实验教程 ——疯壳·开发板系列 AI人脸注册认证与识别     使用IAR打开AI_OCR文件...
    发表于 09-01 17:34 9951次 阅读
    【CC3200AI实验教程17】疯壳·AI语音人脸识别-AI人脸注册认证与识别

    【CC3200AI实验教程16】疯壳·AI语音人脸识别-AI人脸图像采集

    CC3200AI实验教程——疯壳·开发板系列AI人脸图像采集     人脸图像采集硬件部分主要由CC3200和M...
    发表于 09-01 15:01 9322次 阅读
    【CC3200AI实验教程16】疯壳·AI语音人脸识别-AI人脸图像采集

    【CC3200AI实验教程15】疯壳·AI语音人脸识别-加解密及数据协议

    CC3200AI实验教程——疯壳·开发板系列加解密及数据协议     在《AI人脸系统架构》一节中,我们提到AI...
    发表于 09-01 10:00 10048次 阅读
    【CC3200AI实验教程15】疯壳·AI语音人脸识别-加解密及数据协议

    【CC3200AI实验教程14】疯壳·AI语音人脸识别-AI人脸系统架构

    CC3200AI实验教程 ——疯壳·开发板系列 AI人脸系统架构   AI人脸识别系统由7大块组成,分别是摄...
    发表于 08-31 16:35 10456次 阅读
    【CC3200AI实验教程14】疯壳·AI语音人脸识别-AI人脸系统架构

    【CC3200AI实验教程13】疯壳·AI语音人脸识别-语音传输与解析显示

    CC3200AI实验教程——疯壳·开发板系列语音传输与解析显示     TLV320AIC3254支持I2C和SPI接...
    发表于 08-31 12:05 11707次 阅读
    【CC3200AI实验教程13】疯壳·AI语音人脸识别-语音传输与解析显示