资料介绍
描述
这是在使用 32 位浮点精度的微控制器上训练深度学习模型的尝试。我们通过构建一个机器人来实现这一点,该机器人学习如何使用深度强化学习以最小距离跟随最近的障碍物。训练过程的演示可以在这里找到。
训练过程的演示可以在这里找到。该项目的灵感来自于Pete Warden ( Google TensorFlow)、Neil Tan (ARM) 在微控制器上运行神经网络所做的工作。
介绍
实时机器学习 (RTML) 是指主动解释和学习实时到达的数据。它要求代理人根据先前的知识解决不熟悉的问题,并经常做出实时决策。我们在嵌入式系统的开发和部署环境中讨论 RTML。
目前,地球上活跃着近 150 亿个嵌入式处理器,它们收集并有时处理大量数据。这些数据中的大部分都被丢弃了,因为这些微型计算机通常不具备在其上运行复杂解释任务的硬件功能。出于这个原因,数据通过无线网络发送到功能更强大的中央计算机进行处理。但是这种形式的基于云的架构(其中边缘设备仅执行数据收集)可能由于以下原因而变得不利:
- 发送数据需要边缘设备和中央计算机之间的通信。这个过程对处理器来说是非常耗能的,因此只能间歇性地完成
- 由于无线通信协议的设计方式,传输数据时的延迟保证权衡是不可避免的。这可能会严重延迟从数据中采取关键行动的时间。
- 关于数据包从微处理器到达和被微处理器接收所花费的时间,无线通信协议也具有不确定的行为,这对于需要关键响应的任务来说也是非常不希望的。
- 这种不确定的通信链路要求微处理器几乎一直处于活动状态,这是空闲功耗的主要来源之一。
这就是深度学习的力量所在。深度学习算法实现中最大最密集的操作是矩阵乘法,硬件高效实现已经存在并且完全受算术限制。即使使用现有技术,微处理器和 DSP 也能够在不到一毫瓦的情况下处理数千万或数亿次计算,而且更高效的低能耗加速器即将出现。经过训练后,这些模型能够运行复杂的推理任务并保持对噪声的稳健性,这是实时数据的典型特征。通过在边缘设备中加入深度学习功能使边缘设备更智能,将解决所有源于数据交换的问题,并使其成为从现实世界数据中快速做出重要决策的合适且可靠的候选者。设备在部署到现场后还可以进行持续改进。
以下是深度学习框架如何在资源受限的嵌入式系统上开发和运行的一些更广泛的方法:
- 现有算法的内存高效实现
- 低精度量化训练/推理
- 训练期间的低精度乘法
- 使用修剪和霍夫曼编码压缩神经网络
- 使浮点数学对 AI 硬件高效
在本项目中,我们重点介绍第一种方法,并简要介绍第二种方法。据我们所知,这将是第一个开发用于在具有平台独立性的嵌入式系统上训练和运行推理的深度学习库。
使用深度策略梯度网络进行强化学习
有关策略梯度网络的精彩介绍,请参阅本教程。所有用于矩阵操作和实施深度学习算法的库都是用 C++ 自定义编写的。
对于这个项目,网络构建如下:
- 输入层的维度为 1x1。它携带超声波传感器测量到的最近障碍物的距离。
- 隐藏层的维度为 3x1,具有 RELU 激活。
- 输出层的维度为 5x1,具有 softmax 激活,对应于机器人可以行进的 5 种可能速度。
训练在每一集之后进行,其中网络对 5 个动作进行采样,执行它们并存储计算出的奖励。
- 乐鑫ESP32-MINI-1参考设计
- 乐鑫ESP32-MINI-1U参考设计
- 乐鑫ESP32-S3-MINI-1U参考设计
- 乐鑫ESP32-S3-WROOM-2参考设计
- 乐鑫ESP32-S3-WROOM-1U参考设计
- esp32-s3_datasheet
- 使用Matlab进行强化学习电子版资源下载 0次下载
- 基于强化学习的虚拟场景角色乒乓球训练 62次下载
- 基于深度强化学习的无人机控制律设计方法 46次下载
- 一种新型的多智能体深度强化学习算法 36次下载
- 基于深度强化学习仿真集成的压边力控制模型 0次下载
- 基于深度强化学习的路口单交叉信号控制 21次下载
- 模型化深度强化学习应用研究综述 9次下载
- 机器学习中的无模型强化学习算法及研究综述 11次下载
- 深度强化学习的笔记资料免费下载 0次下载
- 基于深度强化学习的视觉反馈机械臂抓取系统 1226次阅读
- 使用ESP32实现UDP通信的方法 4517次阅读
- 懒惰强化学习算法在发电调控REG框架的应用 746次阅读
- 深度强化学习给推荐系统以及CTR预估工业界带来的最新进展 8388次阅读
- 谷歌发布非政策强化学习算法OPC的最新研究机器学习即将开辟新篇章? 3374次阅读
- 多智体深度强化学习研究中首次将概率递归推理引入AI的学习过程 4557次阅读
- 对NAS任务中强化学习的效率进行深入思考 4706次阅读
- 量化深度强化学习算法的泛化能力 2124次阅读
- 如何构建强化学习模型来训练无人车算法 4571次阅读
- 基于强化学习的MADDPG算法原理及实现 2.1w次阅读
- 基于目标图像的视觉强化学习算法,让机器人可以同时学习多个任务 6779次阅读
- 用PopArt进行多任务深度强化学习 5336次阅读
- 深度强化学习将如何控制机械臂的灵活动作 9617次阅读
- 强化学习环境研究,智能体玩游戏为什么厉害 3363次阅读
- 什么是强化学习?纯强化学习有意义吗?强化学习有什么的致命缺陷? 1.7w次阅读
下载排行
本周
- 1山景DSP芯片AP8248A2数据手册
- 1.06 MB | 532次下载 | 免费
- 2RK3399完整板原理图(支持平板,盒子VR)
- 3.28 MB | 339次下载 | 免费
- 3TC358743XBG评估板参考手册
- 1.36 MB | 330次下载 | 免费
- 4DFM软件使用教程
- 0.84 MB | 295次下载 | 免费
- 5元宇宙深度解析—未来的未来-风口还是泡沫
- 6.40 MB | 227次下载 | 免费
- 6迪文DGUS开发指南
- 31.67 MB | 194次下载 | 免费
- 7元宇宙底层硬件系列报告
- 13.42 MB | 182次下载 | 免费
- 8FP5207XR-G1中文应用手册
- 1.09 MB | 178次下载 | 免费
本月
- 1OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 2555集成电路应用800例(新编版)
- 0.00 MB | 33566次下载 | 免费
- 3接口电路图大全
- 未知 | 30323次下载 | 免费
- 4开关电源设计实例指南
- 未知 | 21549次下载 | 免费
- 5电气工程师手册免费下载(新编第二版pdf电子书)
- 0.00 MB | 15349次下载 | 免费
- 6数字电路基础pdf(下载)
- 未知 | 13750次下载 | 免费
- 7电子制作实例集锦 下载
- 未知 | 8113次下载 | 免费
- 8《LED驱动电路设计》 温德尔著
- 0.00 MB | 6656次下载 | 免费
总榜
- 1matlab软件下载入口
- 未知 | 935054次下载 | 免费
- 2protel99se软件下载(可英文版转中文版)
- 78.1 MB | 537798次下载 | 免费
- 3MATLAB 7.1 下载 (含软件介绍)
- 未知 | 420027次下载 | 免费
- 4OrCAD10.5下载OrCAD10.5中文版软件
- 0.00 MB | 234315次下载 | 免费
- 5Altium DXP2002下载入口
- 未知 | 233046次下载 | 免费
- 6电路仿真软件multisim 10.0免费下载
- 340992 | 191187次下载 | 免费
- 7十天学会AVR单片机与C语言视频教程 下载
- 158M | 183279次下载 | 免费
- 8proe5.0野火版下载(中文版免费下载)
- 未知 | 138040次下载 | 免费
评论
查看更多