0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

迈入ZB时代的全新存储架构思路

电子工程师 来源:PChome 2019-09-26 13:07 次阅读

在过去一年中,几大闪存供应商都在采取手段阻止价格下滑,包括削减投资、减少产能、延迟新工厂投产等,虽然效果不是立竿见影,但预计到2020年随着5G智能手机、企业、机器生成的数据推动着数据中心的存储容量快速地从PB级扩展到EB级,需求的持续提升会令存储市场逐渐回暖。

西部数据高级副总裁兼中国区总经理Steven Craig

“为什么我会这么乐观?因为整个2018年全球产生数据约32ZB,到2023年会有超过100ZB的数据产生,这会改变我们对整个存储行业的看法和预期。“在日前于深圳举办的闪存市场峰会(CFMS2019)上,西部数据高级副总裁兼中国区总经理Steven Craig对闪存市场表达了乐观的态度。

目前我们的数据源主要有三个,包括边缘数据、末端数据,以及在云端(核心端)将大数据转换成经过处理的智能信息。据IDC报告指出,2018年全球产生的32ZB数据中,只有5ZB(Zettabyte,十万亿亿字节 ,1ZB约等于1万亿GB)被存储了下来。

到2023年,大于90%的数据将由机器生成,5G、人工智能机器学习,包括视频监控,甚至4K、8K视频的广泛应用,都催生了海量数据产生。届时存储量将会上升到12ZB,但占据产生数据量的比例却由2018年的15%下降到10%左右。

Steven Craig表示:“这就是我们面临最核心的问题,数据产生后只有一小部分会存储下来。存储行业整个生态环境还没有跟上新的趋势,我们必须要转变思维模式,为未来更大规模的数据存储准备好相关的技术。”

应对数据爆炸,SSD成本吃不消

逐步增长SSD的用量是一个方法,NAND Flash层数的增长也可以进一步增加存储密度。从2014年的24层,到2016年的到48层,2017年的64层,再到2018年的96层以及明年的1XX层……NAND层数似乎也有了一个类似摩尔定律的更新迭代周期。

单纯增加层数的方法看起来最简单,但实际上会增加更多的成本。层数增加,意味着要制造更多的晶圆,导致每平方米单位面积的存储成本上升,如上图所示3D NAND迭代的资本密度。我们需要多管齐下。首先需要不断缩小闪存孔规格,让存储孔(MH)密度不断提升;再来是升维扩展,也就是Z轴纵向发展提升层数,让存储单元(Cell)密度提高;最后提升TLC的比特密度。

“下一代技术要求每个单元实现4 bit数据存储,这是非常艰巨的任务。” Steven Craig说到,“但在这样的情况下,我们才可以获得技术发展的红利。” 预计不同层级的TLC将引领未来存储的增速,应用在包括在企业级、客户级还有移动端,移动端的需求尤其大。

QLC高密度的4 bit每单元是“一步到位”的解决方案,据预测到2025年3D-QLC会占50%以上的总比特数出货量。当然天下没有免费的晚餐,我们必须去接受提升容量带来的成本提升,这对企业来说会造成一定的困扰,有没有两全其美的办法?

把HDD和SSD混在一起做分区存储

“对于西部数据来说,在数据存储迈入ZB时代也遇到了关键挑战。QLC虽然在可扩展性、成本/TCO效益和访问/读取性能上都很优异,但是写入寿命的限制却让人头疼。磁盘存储也是如此,我们将传统的CMR(Conventional Magnetic Recording, 传统磁记录)技术,转为SMR(shingled magnetic recording,叠瓦式磁纪录)技术。 ”Steven Craig表示,“但还是有写入限制。”

什么是SMR?叠瓦式磁纪录可以为HDD带来物理和逻辑上的扩展。物理上,增家磁碟数量、扩大磁碟尺寸和窄化轨道实现;逻辑上则能为每隔区域叠加更多轨道进行。不过SMR在随机写操作时,需要先将叠瓦布局中重叠磁道部门的数据迁移走,这需要操作系统以及应用程序等的支持,对于客户实际部署要求较高。也是因为这个原因,SMR磁盘很难与CMR无缝衔接,但SMR在单盘存储容量方面的潜力,对于爆炸式数据增长带来的存储需求,还是极具诱惑力。

如何发挥SMR在单盘存储容量方面的优势,同时扫除影响SMR使用的障碍?只有SMR-HDD和SSD同时存在,才能在不牺牲性能的情况下提高存储容量,这也是西部数据分区存储计划诞生的背景。

ZNS(Zoned Namespaces,分区命名空间)包含SMR-HDD以及ZNS-SSD的配套技术,其中SMR具有成熟的生态和广泛的开源社区支持,能够享用SMR技术带来的硬盘存储容量最大化红利;融入ZNS标准的NVMe SSD则延续闪存扩展,拥有更好的耐久性、可预知的低延时和QoS(服务质量)性能,实现QLC的规模部署。

Steven Craig表示:“分区存储是一项开源的、基于标准的技术提案,使数据中心能够经济高效地对存储介质进行选取和部署,有效地扩展到ZB时代。”

哪些市场HDD和SSD替换得最激烈?

会后,西部数据产品市场部副总裁朱海翔先生,西部数据公司产品市场部总监-张丹女士接受了《电子工程专辑》采访。

由左至右:西部数据公司全球产品市场部总监-万君玫女士,西部数据公司产品市场部副总裁-朱海翔先生

和西部数据公司产品市场部总监-张丹女士

对于数据端到端的架构,朱海翔认为,数据主要由终端通过不同的应用产生,然后在边缘计算或分布式数据中心进行初步集成和分析。最后,在云数据中心通过一些大数据技术分析,数据价值才会最终体现出来。“今天大多数的数据,还是人为方式产生的。比如说微信,在一些平台上分享我们的文字、图片、视频,以及现在非常流行的短视频抖音、快手等等,这些都是人产生的数据。但是随着5G万物互联的发展,我们可以预见,到2023年全球90%的数据都会由机器产生。而由机器产生的数据有独有的特性,大多数都是顺序型写入的流媒体数据。”

针对机器产生的宏大海量数据类别和新特性,存储行业怎么把这个挑战变成机遇?增加存储量无疑是最需要解决的问题。今年越来越多96层3D NAND被用在数据中心,各个厂商也在积极开发1XX层存储密度的3D NAND,“但是这只局限于存储介质的密度增加上,如果最终想要在数据中心使用最高密度QLC,而不是现在的TLC,我们需要解决QLC在数据中心中批量部署的最大难题——写入寿命问题。” 朱海翔表示,“要解决这个问题,不能停留在介质本身,要重新看整个数据的基础架构。所以今年6月我们推出了分区存储技术,我们相信这个技术可以从全新的维度帮助整个行业,尤其是在数据中心快速的部署最高存储密度的QLC。”

其实在存储介质的选择上,西部数据是一家比较独特的公司,他们在HDD行业有开发和制造的垂直整合能力,在SSD上也是一样。所以在推荐客户才用HDD还是SSD上,“西部数据并没有一个偏好,比如一定要在市场上或是在客户处主动去推其中某一个产品。但是我们看到,在不同的行业里,对于HDD和SSD互相过渡的速度和范围是不一样的,其中三个行业是全球使用传统机械硬盘最大的行业:数据中心、个人电脑以及视频监控行业。”

朱海翔介绍到,“这三个行业情况不一样。在数据中心行业,HDD每年的年负荷增长率可达34%,我们把它叫企业级HDD。因为成本、性能整合的优势,相比之下大多数的云厂商还是愿意大量用HDD来存储。SSD在云数据中心中增长速率比HDD快,每年增长率是44%,但它的起点相对较低。我们预测在大概四五年之后,数据中心绝大多数的存储媒介仍然是HDD,而不是SSD。”

个人电脑行业则完全不一样。去年个人电脑里面的存储介质已经有50%转变为 SSD,今年可能已经达到60%,大概两三年之后会达到80%以上。所有的个人电脑都倾向于使用SSD,而不是传统的机械硬盘。

第三个视频监控市场在中国尤其重要,而且中国有全球领先的安防厂家,近年来中国视频监控存储的需求量,在全球已经超过50%,但绝大多数的存储需求还是HDD,而不是SSD。朱海翔表示:“因为我们和这些厂家都有紧密的合作,并没有看到近期或可预见的将来会有大量SSD会替代HDD,这是我们看到的HDD和SSD互相转变的三个主要重要市场。”

在中国区首发全球新品

在媒体会中,西部数据还发布了一系列针对工业、智能和先进制造(包括多种物联网设备)等需要在严苛环境中操作的新产品。张丹表示,这是西部数据首次在中国,发布全球范围内的新品。

此次发布的新产品采用高耐久度3D NAND技术,以多种产品形态为工业系统设计人员提供适用于工业级市场领域的解决方案,可应用于边缘计算网关、机器人、医疗和监测/安防等领域,同时为工业和物联网系统设计人员在人工智能和机器学习应用领域提供方案。

为什么会有工业级别产品的发布?张丹表示,“当我们以深入视角研判未来万亿字节新时代的时候,发现有两个主要的趋势,一个是数据上云,第二个是算力下发。算力下发的结论就是边缘计算,所以越来越多的计算能力会被推动到边缘端,越来越多的传感和分析在边缘端实现,但是这些数据并没有充分的在边缘端进行存储。我们看到了边缘不具备足够的能力和成本优势来保存更多的数据,因此我们也想尽一些努力来满足行业对这方面的需求。”

据介绍,西部数据工业级存储产品能够在恶劣环境(如高温、潮湿、极端海拔或强振)下保证设备存储正常运行,通过延长数据保存期限而存储和处理更多数据。

西部数据首款针对工业及物联网市场而设计的64层3D NAND e.MMC

西部数据iNAND IX EM132嵌入式闪存盘是公司首款专为工业及物联网设备设计的3D NAND e.MMC,其中搭载了西部数据64层3D NAND技术。该产品有两种版本的宽温范围,分别是-25°C至+ 85°C以及-40°C至85°C。西部数据公司将该产品的e.MMC使用寿命延长并超过了2D NAND,为基于高级操作系统、传感器融合和机器学习技术的工业和消费应用提供更高的容量选择。该产品还有专为密集型工业工作负载而设计的功能特性,包括:

· 高级运行状况管理

· 热管理

· 智能分区

· 自动和手动读刷新

· 电源管理

· 达到JEDEC(固态技术协会)标准的数据保持力

针对工业及物联网市场的高耐久度SD存储卡和microSD存储卡

新款西部数据工业级IX LD342 SD存储卡和IX QD342 micro SD存储卡为OEM商、经销商、分销商、集成商和工业系统设计人员提供了高度耐用的产品特性,为新兴工业应用领域带来更好的灵活性:

· 采用西部数据3D NAND技术

· 提供16GB至512GB的容量选择

· 高耐用性(3,000 P/E循环)保证了更长的使用寿命

· 存储卡的运行状况管理可以检测存储卡的剩余耐用程度,并在需要时主动对存储卡进行维护

产品展示

除此之外,西部数据还在此次闪存市场峰会中展示了诸多产品:

上述刚发布的部分新品,以及ZNS SSD,相较于普通的NVMe SSD可提升吞吐量,显著降低延迟

恩智浦i.MX8 Mini EVK主板,其采用了西部数据最新的iNAND IX EM132工业级e.MMC嵌入式闪存产品,可实现更好的性能表现。

还有Ultrastar系列的SSD产品。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 闪存
    +关注

    关注

    16

    文章

    1688

    浏览量

    114224
  • 存储
    +关注

    关注

    12

    文章

    3854

    浏览量

    84652
收藏 人收藏

    评论

    相关推荐

    超融合基础架构的软硬件设计思路

    简单来说,超融合基础架构就是在业务节点上运行服务器虚拟化软件和存储虚拟化软件,将所有的计算节点通过网络聚合成一个统一的虚拟计算和虚拟存储资源池,以资源池的形式提供数据中心所需的IT基础设施。
    的头像 发表于 04-25 10:28 53次阅读
    超融合基础<b class='flag-5'>架构</b>的软硬件设计<b class='flag-5'>思路</b>

    华为提出业界首个L4级AI安全智能体,迈入智能防御新时代

    2024华为分析师大会期间,在“加速迈向网络智能化”论坛上,华为提出业界首个L4级AI安全智能体,该智能体架构为人工智能时代全球网络安全防御提供了新的思路和方向,引领网络安全迈入智能防
    的头像 发表于 04-19 09:23 158次阅读

    存算一体架构的优势及分类

    存内计算同样是将计算和存储合二为一的技术。它有两种主要思路。第一种思路是通过电路革新,让存储器本身就具有计算能力。
    发表于 04-09 10:57 194次阅读
    存算一体<b class='flag-5'>架构</b>的优势及分类

    NVIDIA Edify为视觉内容提供商带来3D生成式AI和全新图像控件

    用于视觉生成式 AI 的多模态架构 NVIDIA Edify 正在迈入全新维度。
    的头像 发表于 03-26 09:49 315次阅读

    大数据时代存储革命:理解分布式存储系统

    在如今的大数据时代,全球数据量正在以指数型增长。据国际数据公司(IDC)预测,到2025年,全球数据量将增至175 ZB。这种海量的数据存储需求无法仅靠单一的服务器满足,而且单一服务器进行
    的头像 发表于 03-07 15:40 145次阅读

    浅析MIMO的帧结构思路

    对于非配对频段,GP位置需要对齐,以避免DL/UL交叉链路干扰,简化共存。图2列出了具有对齐GP位置的未配对频谱中多帧配置共存的示例。
    发表于 02-01 14:30 172次阅读
    浅析MIMO的帧结<b class='flag-5'>构思路</b>

    性能领先|忆联×新华三,打造超融合架构下的高性能存储方案

    为助力企业用户构建超融合架构的现代化数据中心,满足业务发展需求,忆联联合新华三集团在超融合架构下打造高性能存储方案,以此提高数据中心的管理效率和资源利用率。一、背景介绍超融合架构是通过
    的头像 发表于 12-27 18:21 366次阅读
    性能领先|忆联×新华三,打造超融合<b class='flag-5'>架构</b>下的高性能<b class='flag-5'>存储</b>方案

    这次,致态上“新”全新存储产品,对你很上“心”!

    多彩生活,每份闪耀和美好都值得被记录。就在今天,致态又上新了!长江存储旗下唯一零售存储品牌致态,为大家带来了两款全新存储卡产品:致态PRO专业高速
    的头像 发表于 12-08 11:02 372次阅读

    看好明年NAND Flash需求回升!捕捉大数据时代商机 西部数据展示创新存储产品

    张丹表示:“过去的二十年间,Flash行业是从PB到EB的增长,千倍甚至万倍的增长,这个过程中产生了大量的消费级和企业级的应用场景,由此促进了NAND Flash行业的爬坡和需求。在未来两到三年间,我们坚信会迅速地迈入ZB时代
    的头像 发表于 11-20 09:07 1705次阅读
    看好明年NAND Flash需求回升!捕捉大数据<b class='flag-5'>时代</b>商机 西部数据展示创新<b class='flag-5'>存储</b>产品

    为什么web3时代的数据存储方式,Filecoin是理想的方式?

    为什么web3时代的数据存储方式,Filecoin是理想的方式? 随着区块链技术和去中心化应用程序(dapps)的普及,数据管理和存储已经成为一个越来越受关注的领域。在传统的互联网架构
    的头像 发表于 10-26 11:16 212次阅读

    STM32F2的存储器和总线架构

    系统架构  多层AHB总线矩阵  存储空间  存储器映射  片上SRAM  位带操作  片上闪存  自适应闪存加速器(STM32F2新增)  启动模式  代码空间的动态重映射(STM32F2新增)  内嵌bo
    发表于 09-13 06:20

    STM32F7系统架构存储器映射

    STM32 F7 概述• STM32总线架构存储器映射• 总线架构存储器映射• Cache• STM32F7性能• Boot模式• 片上闪存(Flash)• 系统配置控制器(SY
    发表于 09-08 06:53

    发力智慧视频、工业和汽车市场 西部数据多样化存储解决方案新亮点

    年到2025年中国数据量年复合增长率达到30%,未来中国数据存储市场将快速增长。作为全球数据基础架构的提供者,西部数据公司在数据存储领域具有悠久历史和丰富经验,且同时拥有NAND闪存以及HDD两大业务板块及先进技术,其全线多场景
    的头像 发表于 09-07 01:19 1128次阅读
    发力智慧视频、工业和汽车市场  西部数据多样化<b class='flag-5'>存储</b>解决方案新亮点

    存储服务技术架构及云存储服务的优势

    硬件、预配置存储或将资本用于“偶然”场景。 2、部署时间:当开发团队准备就绪时,基础设施不应降低其工作速度。 3、信息管理:在云中集中存储创造了一个强大的杠杆点,可以支持许多新的使用案例。 云存储服务技术
    的头像 发表于 07-07 16:48 450次阅读

    特斯拉自动驾驶架构

                  Tesla架构思路:域控制器尽可能集中,仅留下负责外设的ECU分散布置,通过CAN或以太网总线桥接起主要控制单元,同时在中央计算单元上选用x86架构为后续硬件扩展打下
    发表于 06-07 14:42 1次下载
    特斯拉自动驾驶<b class='flag-5'>架构</b>