0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何使用TinyML在内存受限的设备上部署ML模型呢

全栈芯片工程师 来源:OpenFPGA 作者:碎碎思 2022-11-30 09:04 次阅读

介绍

这本书是关于 TinyML 的,TinyML 是一个快速发展的领域,位于机器学习嵌入式系统的独特交叉点,可以使 AI微控制器等极低功耗设备中应用。

TinyML 是一个充满机遇的激动人心的领域。只需很少的预算,我们就可以赋予与周围世界巧妙互动的物体生命,并让我们的生活方式变得更美好。本书想通过实例来扫除这些障碍,让没有嵌入式编程经验的开发者也能上手TinyML。每一章都将是一个独立的项目,以学习如何使用 TinyML 的一些核心技术,与传感器电子组件接口,以及在内存受限的设备上部署 ML 模型。

License

MIT license

Lattice tinyvision & tingyml

https://github.com/tinyvision-ai-inc

https://www.latticesemi.com/Products/DevelopmentBoardsAndKits/HimaxHM01B0

d5baf2d8-7049-11ed-8abf-dac502259ad0.png

上面只是放了Lattice在低功耗FPGA Up5k上实现相关AI例程的参考链接,想关的可以自己搜索,官网上都有相关介绍,github上看着不像官方的,不过也有很多完整的参考设计。

Efinix TinyML

https://github.com/Efinix-Inc/tinyml/tree/661ae30f2bf5b083ab88c7a4e54f0185a859f9b8

d5d871fa-7049-11ed-8abf-dac502259ad0.png

Efinix 提供基于开源 TensorFlow Lite for Microcontrollers (TFLite Micro) C++ 库的 TinyML 平台,该库在 RISC-V 上运行,带有 Efinix TinyML 加速器。

本网站提供端到端设计流程,有助于在 Efinix FPGA 上部署 TinyML 应用程序。介绍了从人工智能 (AI) 模型训练、训练后量化一直到使用 Efinix TinyML 加速器在 RISC-V 上运行推理的设计流程。此外,还展示了 TinyML 在 Efinix 高度灵活的特定领域框架上的部署。

d5e4f722-7049-11ed-8abf-dac502259ad0.png

RISC-V SoC:

d5f7a2be-7049-11ed-8abf-dac502259ad0.png

设计流程:

d61abe66-7049-11ed-8abf-dac502259ad0.png

TinyAcc

https://github.com/kksweet8845/TinyAcc

d62f5cae-7049-11ed-8abf-dac502259ad0.png

这是一个实现具有下降功能的神经网络模型的项目。

总结

今天介绍的TunyML项目只有几个,目前的应用场景还是比较偏向于嵌入式微处理上,只有Lattice和Efinix FPGA在这方面推出了自己的IP及示例程序,而Lattice的发展更倾向于开源的发展(靠开源推广),所以这方面的应用是个“前途”还是“断途”就仁者见仁智者见智了~






审核编辑:刘清

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 微控制器
    +关注

    关注

    48

    文章

    6808

    浏览量

    147612
  • 嵌入式系统
    +关注

    关注

    40

    文章

    3427

    浏览量

    128213
  • MCU芯片
    +关注

    关注

    3

    文章

    215

    浏览量

    11144
  • TinyML
    +关注

    关注

    0

    文章

    40

    浏览量

    1121

原文标题:MCU芯片上的人工智能TinyML

文章出处:【微信号:全栈芯片工程师,微信公众号:全栈芯片工程师】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    开发TinyML系统必须考虑的四大指标

    TinyML)领域,其中模型被缩小以适应受限设备以超低功耗执行。由于TinyML是一个新兴领域,本篇文章将讨论在开发
    的头像 发表于 01-11 12:10 2096次阅读

    【先楫HPM5361EVK开发板试用体验】:4、TinyML测试(1)

    1、TinyML简介 TinyML是指在边缘设备上运行的机器学习模型,通常是在资源受限的嵌入式系统上运行的轻量级
    发表于 12-22 10:12

    介绍在STM32cubeIDE上部署AI模型的系列教程

    介绍在STM32cubeIDE上部署AI模型的系列教程,开发板型号STM32H747I-disco,值得一看。MCUAI原文链接:【嵌入式AI开发】篇四|部署篇:STM32cubeIDE上部署
    发表于 12-14 09:05

    什么是TinyML?微型机器学习

    影响范围,并在这一过程中开启一个应用的新时代,我们必须找到方法,在更小、更资源受限设备上促进机器学习的推理。这种追求导致了微型机器学习或 TinyML (TinyML 基金会的商标名
    发表于 04-12 10:20

    在Arm虚拟硬件上部署PP-PicoDet模型

    1、在Arm虚拟硬件上部署PP-PicoDet模型  经典的深度学习工程是从确认任务目标开始的,我们首先来简单地介绍一下目标检测任务以及本期部署实战课程中我们所使用的工具和平台。  目标检测任务
    发表于 09-16 14:42

    在Arm虚拟硬件上部署PP-PicoDet模型的设计方案

    1、在Arm虚拟硬件上部署PP-PicoDet模型  经典的深度学习工程是从确认任务目标开始的,我们首先来简单地介绍一下目标检测任务以及本期部署实战课程中我们所使用的工具和平台。  目标检测任务
    发表于 09-23 15:02

    通过Cortex来非常方便的部署PyTorch模型

    (比如移动设备)非常有用。在大多数情况下,你会使用模型服务器。今天你看到的许多 ML 应用程序 — 从你最喜欢的流媒体服务背后的推荐引擎到在线搜索栏中的自动完成功能—都依赖于这种部署
    发表于 11-01 15:25

    如何将ML模型部署到微控制器?

    大家好,的我正在尝试将 ML 模型部署到微控制器,我有两块 STM32L4R9I-Discovery 和 STM32H7B3I-Discovery 板。实验及相关结果如下所示:我使用 TFLite
    发表于 12-29 13:09

    如何使用TensorFlow将神经网络模型部署到移动或嵌入式设备

    有很多方法可以将经过训练的神经网络模型部署到移动或嵌入式设备上。不同的框架在各种平台上支持Arm,包括TensorFlow、PyTorch、Caffe2、MxNet和CNTK,如Android
    发表于 08-02 06:43

    ML-EXray:云到边缘部署验证框架

      嵌入式AI和ML在边缘的部署不断增加,无疑引入了从云到边缘的新性能变化。尽管边缘设备上的AI执行性能突然发生了负面变化,但采用TinyML是一种前进的方式。
    的头像 发表于 10-18 14:31 482次阅读

    如何优化ML模型与硬件实现TinyML?Arm归纳出5种作法

    摄影机来侦测机台设备有无故障。但受限于CPU效能、数据吞吐量、内存及数据储存的影响,想要在资源有限的IoT或嵌入式装置跑AI或ML推论模型
    的头像 发表于 01-07 09:20 841次阅读

    在OpenNCC上部署人脸检测模型

    电子发烧友网站提供《在OpenNCC上部署人脸检测模型.zip》资料免费下载
    发表于 06-27 10:34 0次下载
    在OpenNCC<b class='flag-5'>上部署</b>人脸检测<b class='flag-5'>模型</b>

    如何部署ML模型到Google云平台

    实践中的机器学习:在 Google 云平台上部署 ML 模型
    的头像 发表于 07-05 16:30 422次阅读
    如何<b class='flag-5'>部署</b><b class='flag-5'>ML</b><b class='flag-5'>模型</b>到Google云平台

    想在STM32 MCU上部署机器学习模型?这份入门教程,让你一学就会~

    想在STM32 MCU上部署机器学习模型?这份入门教程,让你一学就会~
    的头像 发表于 10-18 17:45 3227次阅读
    想在STM32 MCU<b class='flag-5'>上部署</b>机器学习<b class='flag-5'>模型</b>?这份入门教程,让你一学就会~

    AI推动边缘智能、RISC-V 和Chiplet成为2024年的三大热点

    苹果刚刚发布的关于在内存有限的资源受限设备上部署大型语言模型(LLM)的研究论文显示,通过将模型
    的头像 发表于 01-14 13:50 762次阅读
    AI推动边缘智能、RISC-V 和Chiplet成为2024年的三大热点