0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

QingStor NeonSAN核心模块采用并行流水线技术,并提升SSD的使用率

lhl545545 来源:比特网 作者:贾桂鹏 2020-09-18 15:35 次阅读

随着技术不断向前推进,如今云计算、大数据盛行,各企业对于存储性能的要求也持续增加,传统的机械硬盘已经渐渐满足不了需求,这也是存储向全闪时代演进的原因。

我们看最近国内外的统计数据,可以看到趋势非常明显。在美国存储市场,不管你是传统集中式存储阵列还是新兴分布式存储架构,采用SSD作为存储介质的占比已经超过一半,并且还在快速增长。目前,国内采用SSD作为存储介质的存储形态产品占比不到一半,可见还有很大的发展空间。

许多国内厂商已经看到了契机,在存储领域发力,在众多企业中,我们发现青云QingCloud已经逐渐走在了前列。

IDC最新发布的《中国软件定义存储及超融合市场跟踪研究报告,2019Q4》中,青云QingCloud旗下QingStor企业级分布式存储和青立方超融合凭借优异的技术和市场表现双双入围核心厂商。

其中,QingStor NeonSAN连续两年入围,跻身软件定义块存储市场四强,并且成功带动QingStor企业级分布式存储近三年复合增长率超600%。青立方超融合则保持稳定增长,连续三年入围核心厂商。

为全闪而生 核心业务之选

一直以来青云QingCloud都致力于面向企业核心业务提供更加理想的技术架构,基于全闪设计的QingStor NeonSAN作为面向核心业务设计的全闪存分布式存储,由青云QingCloud自主研发,性能方面足以媲美中高端存储。

目前,存储向全闪存时代的推进已经好几年,从成果来看,相较于美国市场SSD已经取得了存储介质市场近半的市场,中国市场有了不小的进步,未来更是大有可为。

可是为什么要换SSD呢?相较于传统的HDD,SSD有很多天然的优势:

1、IOPS性能。现在我们通常使用NVMe SSD,和普通常见的SATA HDD的性能不是一个量级的。一块SSD可以顶几千块传统机械盘性能之和。

2、延迟低。SSD的延迟基本可以控制在微秒级的水平,普通机械盘还在几个毫秒的水平。这是SSD能取代HDD最关键的两点。

3、单盘容量。随着近几年NAND颗粒成本的降低,以及单盘NAND密度的增加,目前主流的SSD单盘容量有4T、8T的水准,和现在主流的HDD 4T、8T的盘几乎一致。

SSD作为一种全新的闪存介质开始进入企业的数据中心,并逐渐成为应用的主流。企业对存储的要求是性能和容量要满足业务的需求,并且价格合适。一块NVMe SSD的性能大概在100万IOPS,相当于5000块7.2k SATA HDD的性能。

而在延迟上,一块NVMe SSD的延迟大概在10微秒,是机械盘的200分之一。目前主流的SSD单盘容量已经达到8T,完全满足企业各类应用的需求。从单盘的价格来看,SSD比机械盘要贵,但是从单个I/O的成本来看,SSD的性价比远远高于机械盘。

代号氖

QingStor NeonSAN是一个有意思的名字,他名字后半部分SAN代表了产品的形态,Neon则是元素周期表里面氖的代号,是一种惰性气体,具有极高的稳定性,这意味着NeonSAN将会是一款稳定性极高的企业级存储产品。

QingStor NeonSAN核心模块由数据层和控制层组成,此外包括前端接口与运维管理工具层。QingStor NeonSAN核心模块采用并行流水线技术,设计了全闪存储系统的资源调度系统、内存管理系统、元数据管理系统、RDMA网络收发系统等,打造高可用、高可靠、高性能、扩展灵活的全闪分布式存储。NeonSAN提供9个9可靠性,单卷性能达到10万IOPS,最小延迟小于90微妙。

从基本构成来看,QingStor NeonSAN是由Zookeeper服务、元数据服务、管理服务、存储服务和接入服务五部分构成。Zookeeper提供集群的发现服务;元数据服务用来记录集群中的元数据,如节点信息、SSD的信息、卷信息等;管理服务提供集群的管理功能,如节点的上线、创建卷等。

QingStor NeonSAN采用并行流水线,将I/O进行拆分,拆分成接收、调度和落盘。举个例子,在机械盘的年代超市只有1个收银台,只能排1队,但是到了NVMe SSD时代,超市有128个收银台,如果我们还排1队就对资源造成极大的浪费,所以需要采用多个I/O队列并行I/O,充分发挥NVMe SSD本身的性能,提升SSD的使用率。

对于这个代号氖的全闪存分布式存储而言,给客户的稳定性是排在研发等级最前列的位置,与此同时还不能忽略其性能,所以,当青云QingCloud把成熟度非常高的QingStor NeonSAN拿出来,会在市场上有很大的竞争力。

QingStor存储产品经理冯相东表示:“云本身就是分布式架构,云是大家认可的未来IT架构。同样,我们的存储不可能做集中式架构,一定要和云在技术架构上是同一个理念,通过我们云平台满足企业对计算资源灵活分配、按需分配的特点。在存储领域,采用分布式存储技术满足企业的弹性伸缩、按需分配、灵活扩展的需求。”

写在最后

QingStor NeonSAN诞生在全闪的年代,是为全闪而生的分布式存储,提供高可靠、高可用,性能卓越的存储服务。NeonSAN丰富的接口,可以承载数据库等传统应用,原生适配虚拟化、大数据、容器等多种应用生态,服务云时代高效的数据存储和管理。NeonSAN具备提供丰富的企业级特性,基于同步及异步的数据复制可以灵活构建各类灾备和双活解决方案。经过大量企业客户核心业务的长期验证,QingStor NeonSAN是一款真正可以承载企业核心业务的全闪分布式存储,跻身软件定义块存储市场四强实属众望所归。
责任编辑:pj

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 接口
    +关注

    关注

    33

    文章

    7628

    浏览量

    148431
  • 云计算
    +关注

    关注

    38

    文章

    7339

    浏览量

    135687
  • SSD
    SSD
    +关注

    关注

    20

    文章

    2686

    浏览量

    115475
收藏 人收藏

    评论

    相关推荐

    固定式安装工业读码器,助力提高流水线人工上料效率

    上的条码信息,无需手动操作即可完成数据采集。这种自动化的条码扫描技术大大缩短了人工上料的时间,提高了生产效率。而工业读码器的稳定性和准确度保证了流水线上料过程中的顺畅
    的头像 发表于 02-27 14:43 93次阅读
    固定式安装工业读码器,助力提高<b class='flag-5'>流水线</b>人工上料效率

    超级方便的轻量级Python流水线工具

    Mara-pipelines 是一个轻量级的数据转换框架,具有透明和低复杂性的特点。其他特点如下: 基于非常简单的Python代码就能完成流水线开发。 使用 PostgreSQL 作为数据处理引擎
    的头像 发表于 10-31 11:26 351次阅读
    超级方便的轻量级Python<b class='flag-5'>流水线</b>工具

    流水线ADC的内部结构和工作原理是什么

    几年各种各样的流水线ADC已经在速度、分辨率、动态性能和功耗方面有了很大的提高。对于几Msps到100Msps的8位高速和16位低速模数转换器(ADC),流水线已经成为最流行的模数转换器结构,它可以涵盖很广的应用范围,包括CCD成像、超声成像、数字接收、基站、数字视频(如
    的头像 发表于 09-26 10:25 1090次阅读
    <b class='flag-5'>流水线</b>ADC的内部结构和工作原理是什么

    流水线ADC结构解析 流水线ADC和其它ADC的比较

    低采样速率ADC仍然采用逐次逼近(SAR)、积分型结构以及最近推出的过采样ΣΔADC,而高采样速率(几百MSPS以上)大多用闪速ADC及其各种变型电路。然而,最近几年各种各样的流水线ADC已经在速度
    发表于 09-26 10:24 526次阅读
    <b class='flag-5'>流水线</b>ADC结构解析 <b class='flag-5'>流水线</b>ADC和其它ADC的比较

    什么是流水线?ARM处理器流水线简析

    流水线是为了提高效率,能并发同时进行多个任务。
    的头像 发表于 09-05 15:39 1218次阅读
    什么是<b class='flag-5'>流水线</b>?ARM处理器<b class='flag-5'>流水线</b>简析

    2分钟快速上手华为云流水线CodeArts Pipeline的创建与运行

    发布等任务,承载软件从代码提交到发布上线全自动化流程。一次配置后即可重复触发执行,避免频繁低效的手工操作,提供可视化、可定制的持续交付流水线服务,实现缩短交付周期和提升交付质量的效果。 您将收获 通过流水线新手体验模板,体验一条
    的头像 发表于 09-01 13:47 241次阅读
    2分钟快速上手华为云<b class='flag-5'>流水线</b>CodeArts Pipeline的创建与运行

    制造企业常用的流水线Andon安灯呼叫系统是什么

    制造企业使用的流水线Andon安灯呼叫系统是一种非常实用的生产管理工具,它不仅能够提高生产效率和质量,还可以为企业提供宝贵的数据支持,帮助企业实现持续改进和优化。
    的头像 发表于 08-30 21:14 299次阅读

    新版本Jenkins推荐使用声明式流水线

    stage:和声明式的含义一致,定义流水线的阶段。Stage 块在脚本化流水线语法中是可选的,然而在脚本化流水线中实现 stage 块,可以清楚地在 Jenkins UI 界面中显示每个 stage 的任务子集。
    的头像 发表于 07-20 16:43 466次阅读

    半导体制冷技术应用--全自动生化免疫流水线

    全自动生化免疫流水线系统包括了标本的前处理系统、离线样本的分杯系统、生化免疫检测系统以及大容量标本贮存系统。在全自动生化免疫流水线运行过程中,工作人员只需将装有血液或尿液样品并贴有条形码的试管放到
    的头像 发表于 07-14 17:32 504次阅读
    半导体制冷<b class='flag-5'>技术</b>应用--全自动生化免疫<b class='flag-5'>流水线</b>

    总结一下pipeline流水线设计的关键点

    pipeline流水线设计是一种典型的面积换性能的设计。一方面通过对长功能路径的合理划分,在同一时间内同时并行多个该功能请求,大大提高了某个功能的吞吐率
    发表于 06-27 15:26 1093次阅读
    总结一下pipeline<b class='flag-5'>流水线</b>设计的关键点

    Google GPipe为代表的流水线并行范式

    但在实际应用中,流水线并行并不特别流行,主要原因是模型能否均匀切割,影响了整体计算效率,这就需要算法工程师做手调。因此,今天我们来介绍一种应用最广泛,最易于理解的并行范式:数据并行
    的头像 发表于 05-26 14:40 595次阅读
    Google GPipe为代表的<b class='flag-5'>流水线</b><b class='flag-5'>并行</b>范式

    以Gpipe作为流水线并行的范例进行介绍

    和充沛优质的硬件资源 算法的迭代创新 在大模型训练这个系列里,我们将一起探索学习几种经典的分布式并行范式,包括 流水线并行(Pipeline Parallelism),数据并行(Dat
    的头像 发表于 05-25 11:41 669次阅读
    以Gpipe作为<b class='flag-5'>流水线</b><b class='flag-5'>并行</b>的范例进行介绍

    串联式流水线和并联式流水线

    串联式流水线,应该备用几台机器人,能立即刷程序和立即上位。 因为串联式流水线一停机就必须全线停,等你修好了黄花菜都凉了。必须有一套每工位替换的设计。能换机上程序就行。按机器的故障率来说,每100台
    发表于 05-19 18:30

    什么是流水线 Jenkins的流水线详解

    jenkins 有 2 种流水线分为声明式流水线与脚本化流水线,脚本化流水线是 jenkins 旧版本使用的流水线脚本,新版本 Jenkin
    发表于 05-17 16:57 656次阅读

    一个典型的流水线设计

    流水线设计通常可以在一定程度上提升系统的时钟频率,因此常常作为时序性能优化的一种常用技巧。如果某个原本单个时钟周期完成的逻辑功能块可以进一步细分为若干个更小的步骤进行处理,而且整个数据处理过程是单向
    的头像 发表于 05-08 10:55 696次阅读
    一个典型的<b class='flag-5'>流水线</b>设计