0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何用神经网络模型处理SSD稳态控制问题

科技绿洲 来源:北京忆芯科技有限公司 作者:北京忆芯科技有限 2022-06-08 15:41 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在企业级或数据中心的存储应用中,对固态闪存盘的特性有着比桌面应用更加严苛的多项要求。其中IO延迟稳定性和QoS(服务质量)是其中最重要的指标,其含义表征着SSD在各种场景轻重压力下能否提供稳定的IO性能指标,将IO的抖动和延迟控制在尽量小的范围内,而提升上层应用的响应。

近年神经网络在各行各业有很多有趣的实际应用,其在模式识别、智能机器人、自动控制、预测估计、医学和经济等领域已成功解决了许多现代计算机难以解决的实际问题,表现出很好的智能特性。忆芯科技的技术团队经过大胆创新实践,在固态企业级算法领域,将神经网络应用到SSD QoS算法调优中,获得了相较于比传统算法的大幅提升。为企业级SSD IO延迟稳定性和 QoS设计开辟了全新的思路和方向。

稳态性能是指什么?

关于SSD的性能测试有很多项,文章下面跟大家分享下PTS测试中的Write Saturation(WSAT)写饱和测试的优化内容。PTS是固态存储的性能测试规范,可参见《Solid State Storage Performance Test Specification 》

在PTS中,将SSD的性能状态分为了3个阶段:

a) 出厂阶段(Fresh Out of the Box, FOB)

出厂状态,一般称为空盘状态。SSD 的NAND区域没有进行数据写入, 安全擦除命令可以将设备恢复出厂状态,该阶段的写性能可以达到峰值性能,SSD后台任务不会启动。

b) 转换阶段(Transition)

随着非重复数据的不断写入,SSD的可写空间变小,当降低到一定阈值时就会触发SSD的垃圾回收(GC)任务释放空闲空间。该阶段性能下降较多,波动也较大,下降的幅度,取决于GC回收空闲空间的负载。

c) 稳定阶段(Steady State)

当GC回收的负载和主机写入负载趋于平衡时,SSD 的性能会逐渐平稳下来,并长期维持在这个状态,称为稳态。稳态性能对于企业SSD应用有很大的实际意义。

稳态性能的指标评估

稳态的性能不仅仅是IO处理的速度有多快,还要看处理IO是否平稳。衡量平稳的方式,一般有两种:

a) 一致性=最小的IOPS/平均的IOPS

b) 一致性=超出平均IOPS的±5%的采样次数/总的采样次数

前者着重于表现单点向下跌落的程度,后者着重于表现上下振动的幅度。

传统的Qos控制算法

传统的控制算法(如自适应控制算法)的优势在于处理该问题时,表现出在不同硬件(如NAND,DDR)配置下都有较好的性能控制能力。

但是,其难点是在转换阶段时容易出现扰动,并传递到稳定阶段,影响IO的一致性。而且不同硬件配置下扰动的程度可能不同,所以还需要开发人员分别精心地调校。

下面我们来看下如何用神经网络模型处理SSD的稳态控制问题,以及效果怎样。

构建和准备数据

主机先要对SSD的性能参数调节模块配置一组参数,然后在特定训练的IO场景中对SSD发送IO命令,同时主机实时地采集SSD内部的性能监测模块上报的各项工作数据。

抽样的数据有很多,且时间段也较长,要能实际表示出实际情形,需要在后面的整个流程中,不断反复且持续的进行工作并修正需要训练的数据集。

构建和训练模型

a) 建立神经网络模型

为了方便理解,可将模型简化为一个三输入二输出的模型。输入输出的参数如下:

输入参数host_w_iops:采样主机写通路的IOPS

输入参数host_r_iops:采样主机读通路的IOPS

输入参数vtc:SSD内部启动GC(垃圾回收)任务时,最小单位数据的有效数量

输出参数host_w_limit:主机写通路的流量限制参数

输出参数gc_limit:GC通路的流量限制参数

注:流量限制是指单位时间(如100ms)内可以处理单元数据(一般是4K)的数量。

通过软件定时器实现的单位时间精度一般是在ms毫秒级,忆芯科技的新一代主控芯片STAR2000在硬件上实现了流量管理功能,时间精度可以达到ns纳秒级,精度相对提高了100万倍。

b) 训练模型

i. 分析收集到的数据集,配置给模型一组期望的目标值。

ii. 用收集到的数据集训练神经网络,并评估训练结果,若目标偏差较大,需要反复迭代训练该过程。

iii. 训练完成后,将相关参数集部署到SSD中,并执行训练场景的IO测试。

iv. 若实际结果与目标偏差较大,则反馈到前端进行调整。

v. 最后训练完成后,就可以进入评估阶段,验证下实际的效果。

评估模型

a) 转换阶段:

从下图中看到转换过程中没有超调的情况,在退出转换阶段时无明显的扰动。

b) 稳定阶段:

从下图中可看到,使用神经网络模型的方式,在振动的幅度上有一定的改善。单点向下抖动的程度也有一定改善,具体的一致性数值则从之前的91%提升至97%。

总结

较传统企业级QoS优化手段,利用神经网络模型可轻松实现应对各种复杂场景,并能实现更加精确的自适应参数调优,取得更高的IO稳定性。

然而,在嵌入式里执行神经网络计算会带来一定的计算开销,新一代主控芯片STAR2000则专门集成了硬件神经网络处理单元,结合8TOPS的算力,可以轻松应对新的业务挑战。

神经网络控制作为智能控制的一个新的分支,由神经网络与控制理论相结合而发展起来,可以为解决复杂的非线性,不确定的控制问题提供一种新的途径。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 神经网络
    +关注

    关注

    42

    文章

    4842

    浏览量

    108158
  • SSD
    SSD
    +关注

    关注

    21

    文章

    3148

    浏览量

    122598
  • 数据中心
    +关注

    关注

    18

    文章

    5762

    浏览量

    75199
  • 主控芯片
    +关注

    关注

    2

    文章

    219

    浏览量

    25696
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    面向嵌入式部署的神经网络优化:模型压缩深度解析

    1.为什么需要神经网络模型压缩? 神经网络已经成为解决复杂机器学习问题的强大工具。然而,这种能力往往伴随着模型规模和计算复杂度的增加。当输入维度较大(例如长时序窗口、高分辨率特征空间)
    的头像 发表于 02-24 15:37 5445次阅读
    面向嵌入式部署的<b class='flag-5'>神经网络</b>优化:<b class='flag-5'>模型</b>压缩深度解析

    神经网络的初步认识

    日常生活中的智能应用都离不开深度学习,而深度学习则依赖于神经网络的实现。什么是神经网络神经网络的核心思想是模仿生物神经系统的结构,特别是大脑中神经
    的头像 发表于 12-17 15:05 458次阅读
    <b class='flag-5'>神经网络</b>的初步认识

    自动驾驶中常提的卷积神经网络是个啥?

    在自动驾驶领域,经常会听到卷积神经网络技术。卷积神经网络,简称为CNN,是一种专门用来处理网格状数据(比如图像)的深度学习模型。CNN在图像处理
    的头像 发表于 11-19 18:15 2243次阅读
    自动驾驶中常提的卷积<b class='flag-5'>神经网络</b>是个啥?

    NMSIS神经网络库使用介绍

    NMSIS NN 软件库是一组高效的神经网络内核,旨在最大限度地提高 Nuclei N 处理器内核上的神经网络的性能并最​​大限度地减少其内存占用。 该库分为多个功能,每个功能涵盖特定类别
    发表于 10-29 06:08

    构建CNN网络模型并优化的一般化建议

    通过实践,本文总结了构建CNN网络模型并优化的一般化建议,这些建议将会在构建高准确率轻量级CNN神经网络模型方面提供帮助。 1)避免单层神经网络
    发表于 10-28 08:02

    如何将训练好的神经网络模型部署到蜂鸟e203开发板上

    本帖欲分享如何将训练好的神经网络模型部署到蜂鸟e203开发板上。 1. 加载TFLite模型 std::unique_ptr interpreter(new tflite::Interpreter
    发表于 10-22 08:04

    在Ubuntu20.04系统中训练神经网络模型的一些经验

    本帖欲分享在Ubuntu20.04系统中训练神经网络模型的一些经验。我们采用jupyter notebook作为开发IDE,以TensorFlow2为训练框架,目标是训练一个手写数字识别的神经网络
    发表于 10-22 07:03

    CICC2033神经网络部署相关操作

    在完成神经网络量化后,需要将神经网络部署到硬件加速器上。首先需要将所有权重数据以及输入数据导入到存储器内。 在仿真环境下,可将其存于一个文件,并在 Verilog 代码中通过 readmemh 函数
    发表于 10-20 08:00

    液态神经网络(LNN):时间连续性与动态适应性的神经网络

    神经元,但却能产生复杂的行为。受此启发,与传统的神经网络相比,LNN旨在通过模拟大脑中神经元之间的动态连接来处理信息,这种网络能够顺序
    的头像 发表于 09-28 10:03 1552次阅读
    液态<b class='flag-5'>神经网络</b>(LNN):时间连续性与动态适应性的<b class='flag-5'>神经网络</b>

    神经网络的并行计算与加速技术

    随着人工智能技术的飞速发展,神经网络在众多领域展现出了巨大的潜力和广泛的应用前景。然而,神经网络模型的复杂度和规模也在不断增加,这使得传统的串行计算方式面临着巨大的挑战,如计算速度慢、训练时间长等
    的头像 发表于 09-17 13:31 1292次阅读
    <b class='flag-5'>神经网络</b>的并行计算与加速技术

    基于神经网络的数字预失真模型解决方案

    在基于神经网络的数字预失真(DPD)模型中,使用不同的激活函数对整个系统性能和能效有何影响?
    的头像 发表于 08-29 14:01 3664次阅读

    无刷电机小波神经网络转子位置检测方法的研究

    摘要:论文通过对无刷电机数学模型的推导,得出转角:与三相相电压之间存在映射关系,因此构建了一个以三相相电压为输人,转角为输出的小波神经网络来实现转角预测,并采用改进遗传算法来训练网络结构与参数,借助
    发表于 06-25 13:06

    神经网络专家系统在电机故障诊断中的应用

    摘要:针对传统专家系统不能进行自学习、自适应的问题,本文提出了基于种经网络专家系统的并步电机故障诊断方法。本文将小波神经网络和专家系统相结合,充分发挥了二者故障诊断的优点,很大程度上降低了对电机
    发表于 06-16 22:09

    神经网络RAS在异步电机转速估计中的仿真研究

    众多方法中,由于其结构简单,稳定性好广泛受到人们的重视,且已被用于产品开发。但是MRAS仍存在在低速区速度估计精度下降和对电动机参数变化非常敏感的问题。本文利用神经网络的特点,使估计更为简单、快速
    发表于 06-16 21:54

    基于FPGA搭建神经网络的步骤解析

    本文的目的是在一个神经网络已经通过python或者MATLAB训练好的神经网络模型,将训练好的模型的权重和偏置文件以TXT文件格式导出,然后通过python程序将txt文件转化为coe
    的头像 发表于 06-03 15:51 1499次阅读
    基于FPGA搭建<b class='flag-5'>神经网络</b>的步骤解析