0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

西部数据创新存储架构助力IPFS突破算力瓶颈

话说科技 2021-04-21 10:03 次阅读

4月9日至11日,第九届中国电子信息博览会(CITE2021)在深圳会展中心举办。同期有多场重磅会议及技术论坛开幕,其中4月9日举行的深圳国际大数据与存储峰会以及Web3.0中国峰会格外引得业界关注。

西部数据展台

作为世界存储巨头,西部数据携旗下一系列存储产品亮相展会,尤其是面向未来的IPFS数据存储解决方案更是亮点十足。西部数据公司副总裁兼中国区业务总经理刘钢也在Web3.0中国峰会上为我们带来了以“创新存储架构,突破IPFS算力瓶颈”为主题的演讲。

西部数据公司副总裁兼中国区业务总经理刘钢

·企业级存储架构面临挑战 IPFS发展迅猛

我们的世界正全面交由数字构建,大数据发展的尤为迅猛。据IDC预测,到2024年,以HDD为代表的大数据预计将增长到1.62ZB。而主要以SSD为介质的快数据在2024年也将增长到333EB。相较于HDD大数据30%的年增长率,SSD快数据50%的增长率是非常快的。

如果统计整个2024年产生的数据,总容量将会达到惊人的143个ZB,也就是说大数据和快数据加起来也只有约2 ZB,也就是仅有1.5%的数据被存储。

我们经常说,数字时代,数据就是石油,为什么这多的数据没有被存储下来,继而进行分析并挖掘其价值?很重要的一个原因是存储架构和存储技术没有及时地跟上,以至于有很多数据没有办法被存储下来并及时使用。

现代企业级数据存储架构正面临着严峻的挑战。迅猛的数据增长速度、对于存储能的高要求、更低的总拥有成本(TCO)以及更加环保的绿色能耗体系等多个方面的要求亟需存储架构的革新与变化。

目前,数据的传输与访问,是基于HTTP协议为代表的互联网协议实现的。互联网将计算机与智能移动终端连接在一起,使得用户能够访问存储其他终端上的海量数据。数据以计算机、终端域名为地址进行中心化存储,带来了巨大的流量访问和数据传输压力。

而IPFS去中心化分布式存储架构将会有效降低目前基于中心化的云存储成本,将和去中心化的云计算一起作为Web3.0的重要基础设施,加快推动相关行业的数字化转型进程,构建商业新场景,促使经济社会发生深刻变革。

IPFS 是InterPlanetary File System的缩写,译作星际文件系统。简单而言,IPFS是一个内容可寻址的对等超媒体分发协议,用户要寻找的是存储在某地方的内容,这些内容分散在不同的服务器节点,而不是某个地址,因此只需确认验证内容的哈希值,就可以达到访问目标,大大减小了中心存储的压力。

有了面向未来的IPFS存储架构,还需要将数据进一步细分,这就涉及到了分层存储。按照数据的热度和使用频率,我们可以简单的将其分为极热数据、热数据、温数据、冷数据和极冷数据。

事实上,我们很难找到一种存储介质、存储设备能够同时满足所有层级的数据存储需求,对于不同层级的数据,需要采用的存储介质和存储的设备是不一样的,这样才能够既满足海量数据的存储和对热数据的快速访问。

大数据部分主要针对冷存储和极冷存储,业界通常使用高密度的大容量企业级HDD来进行。目前,已经进化到了18TB容量的高密度硬盘产品。西部数据的Ultrastar DC系列硬盘已经在多个云服务商处得到验证与部署。西部数据基于SMR(叠瓦市磁记录)技术开发的企业级HDD,已经做到了20TB的容量,几家头部云服务商部署的硬盘在过去4年当中,已经从8TB容量进化到了18TB,发展非常迅速。

西部数据公司副总裁兼中国区业务总经理刘钢

但更为惊人的是IPFS服务商的硬盘容量演进速度。在过去四个季度,他们几乎就走完了传统云服务商用时四年才完成的存储容量升级,也就是说从8TB进化到了18TB。

抛开升级速度,无论是IPFS服务商,还是传统云服务商,使用单盘容量越来越大的HDD是统一的,为什么大家从8TB不断升级至12TB、14TB,继而到现在的18TB?其实很简单,在同样存储容量的情况下,使用18TB硬盘可以大大减少服务器的数量,提高存储密度,从而降低功耗,降低部署成本,最终降低运维成本。

IPFS存储与数据分层,让我们有可能使用各种产品的存储组合,来满足用户各方面、各种存储场景的需求,继而解决未来数据时代的存储痛点。

·西部数据领先产品赋能IPFS存储与计算集群

作为世界领先的存储架构公司、在存储领域深耕第51年的存储巨头,西部数据拥有完整的企业级存储产品线。

在HDD方面,西部数据的SMR技术已经成功应用到20TB容量的硬盘上了,一些客户通过部署Ultrastar DC HC650 20TB SMR HDD,得到了更低的总体拥有成本(TCO)与更高的存储密度。全球领先的云存储服务商Dropbox是首批测试验证西部数据Ultrastar DC HC650 20TB SMR HDD的公司之一。

对于需要频繁访问的快数据部分,像热存储、温存储,西部数据主要提供了两种不同类型的SSD产品,像面向极热存储的Ultrastar DC SN840 NVMe SSD,主要针对写入负载密集的负载而设计,可以帮助用户完成高能的计算工作。而Ultrastar DC SN640 NVMe SSD更多应用到主流的服务器和云上,适用于读写均衡的混合型工作负载。

对于企业级客户来说,选择SSD供应商需要考虑很多因素,足够的产能与供应能力,足够低的成本和领先的能,以及良好的纵向优化能力,都是影响用户购买决策的重要方面。

而这几点,恰恰是西部数据的优势。西部数据刚刚推出了第6代3D闪存技术,162层的3D闪存会进一步提高侧面单元密度,相比BiCS5相比,芯片尺寸减小40%,程序能可以提高两倍以上,输入/输出能提高约66%。西部数据与铠侠一起投入巨资,拥有领先的闪存产能优势,占有全球3分之一的Flash产能。

此外,西部数据还拥有完全自主的控制器和固件,和NAND Flash纵向集成,有助于能和稳定的不断优化,确保客户采购的产品在整个生命周期内拥有稳定的I/O一致

在IPFS存储系统中,“存算分离”是一个特别重要的特点。也就是说存储集群和计算集群是分开的,两个集群的存储特有着明显的区别。

如果使用西部数据的18TB HDD,以4U60+18TB的解决方案为例,与传统的4U36+16TB组合相比,机柜数量可以减少约46%,功耗减少约36%,明显降低部署成本和运维成本。

目前,西部数据已经与多家合作伙伴联合推出了IPFS存储解决方案,例如星辰天合、浪潮和西部数据共同推出的IPFS存储系统,使用了西部数据Ultrastar DC HC550 18TB HDD、浪潮英信服务器NF5466M5、XSKY文件存储系统等关键组件,不仅实现了快速部署、便捷运维,还有助于减少业务的异常情况带来的损失,大幅提升业务收益。

在基于分布式存储的Web3.0架构之下,西部数据展示了全方位的技术实力和相应解决方案,赋能IPFS基础设施建设。与业内合作伙伴一起打造的针对IPFS优化的计算和存储节点方案,可以帮助客户更好的挖掘出大数据时代数据的真正价值。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
收藏 人收藏

    评论

    相关推荐

    西部数据发布专为传媒娱乐业工作流打造的全新高性能、大容量解决方案

    打造的创新技术和存储解决方案。西部数据立足创新,不断探索创造更先进的解决方案,助力广大用户应对数字内容激增产生的
    的头像 发表于 04-12 16:02 144次阅读
    <b class='flag-5'>西部数据</b>发布专为传媒娱乐业工作流打造的全新高性能、大容量解决方案

    聚焦AI、汽车和PC应用新需求,西部数据携旗舰存储产品亮相CFMS峰会

    作为领先的数据存储解决方案提供商,西部数据公司参加了CFMS 2024峰会,现场以“为存储加速:从数据中心到边缘”为核心主题的展台吸引了众多
    的头像 发表于 03-25 14:34 1567次阅读
    聚焦AI、汽车和PC应用新需求,<b class='flag-5'>西部数据</b>携旗舰<b class='flag-5'>存储</b>产品亮相CFMS峰会

    江波龙与西部数据拓展业务合作,共同助力大中华区手机存储市场

    日在CFMS2024上宣布与西部数据加强合作关系,积极探索并共同支持下一代基于人工智能的移动终端存储和应用的市场机遇。   在双方长期合作的基础上,江波龙和西部数据将进一步深化业务合作,为大中华地区(包括中国大陆、港澳台地区)
    发表于 03-21 15:14 110次阅读

    江波龙与西部数据拓展业务合作,共同助力大中华区手机存储市场

    日在CFMS2024上宣布与西部数据加强合作关系,积极探索并共同支持下一代基于人工智能的移动终端存储和应用的市场机遇。在双方长期合作的基础上,江波龙和西部数据将进一步
    的头像 发表于 03-21 08:19 112次阅读
    江波龙与<b class='flag-5'>西部数据</b>拓展业务合作,共同<b class='flag-5'>助力</b>大中华区手机<b class='flag-5'>存储</b>市场

    西部数据分拆存储业务:闪存与传统硬盘的分离

    自2021年起,西部数据及合作方铠侠一直着手探讨合并事宜,以便共同掌控占据全世界NAND闪存市场三分之一份额的市场份额。然而,2023年10月的合并协商陷入停滞,此后西部数据宣布,他们将逐步剥离受供应过盛所困的闪存业务
    的头像 发表于 03-06 16:57 312次阅读

    春日有礼,西部数据和“她”一起开启存储焕新计划

    每一个女孩都是独特而美丽的存在,享受生活的同时不忘记录那些难忘的瞬间。3.8春季大促,西部数据带来了令人怦然心动的存储购物清单,助力每一位“她”记录生活亮点,高效应对职场与学习。还不快拿上小本
    的头像 发表于 03-04 15:57 251次阅读
    春日有礼,<b class='flag-5'>西部数据</b>和“她”一起开启<b class='flag-5'>存储</b>焕新计划

    AI大模型加速落地! 西部数据助力数据中心智能化升级

    面对AI大模型的发展和普及,西部数据作为全球数据存储解决方案提供商,如何看待这种浪潮到来,生成式AI技术发展对现有基础设施部署工作带来哪些挑战?对存储产品带来了哪些新的发展机遇和要求?
    的头像 发表于 02-18 00:03 4062次阅读
    AI大模型加速落地! <b class='flag-5'>西部数据</b><b class='flag-5'>助力</b><b class='flag-5'>数据</b>中心智能化升级

    多样需求大满足!西部数据年终好价存储好物请查收

    临近年末,“年终好价节”等购物节盛大来袭。各种折扣优惠和产品推荐让人眼花缭乱,无从下手。至此,西部数据带来了存储“全家桶”,一站式选购清单,省时省力,贴心地“手把手”教大家选择适合自己的存储
    的头像 发表于 12-01 16:12 216次阅读
    多样需求大满足!<b class='flag-5'>西部数据</b>年终好价<b class='flag-5'>存储</b>好物请查收

    数据驱动未来,西部数据汽车技术论坛2023成功举办

     11月9日,由全球知名数据存储设备制造商西部数据主办、以“数据驱动未来:车载存储的新机遇和新挑战”为主题的“
    的头像 发表于 11-15 17:27 498次阅读
    <b class='flag-5'>数据</b>驱动未来,<b class='flag-5'>西部数据</b>汽车技术论坛2023成功举办

    多样存储需求好解决,双十一西部数据帮你选

    ,很多消费者也在等待大促活动来直抵最低价。西部数据也在此次双十一活动中携带超值优惠如约而至,尤其是旗下备受玩家瞩目的游戏类存储产品,为各位想趁着大促升级硬件的朋友们带来好礼。我们整理了此次西部数据旗下备受关注
    的头像 发表于 11-10 09:01 209次阅读

    西部数据公司推出全新存储解决方案,助力消费者捕捉和留存更多内容

    2023年10月19日,上海 –西部数据公司今日宣布旗下屡获殊荣的闪迪™品牌正式推出一系列创新存储解决方案,针对在家或在途等各类使用场景,满足消费者更高的存储容量需求。在回忆与经历都被
    的头像 发表于 10-19 17:31 295次阅读
    <b class='flag-5'>西部数据</b>公司推出全新<b class='flag-5'>存储</b>解决方案,<b class='flag-5'>助力</b>消费者捕捉和留存更多内容

    铠侠、西部数据将共同设立一家控股公司“KIOXIA Holdings”

    报道指出,铠侠、西部数据将共同设立一家控股公司“KIOXIA Holdings”,西部数据存储芯片业务和铠侠都将收编在这家控股公司旗下,虽然以企业价值为基础的合并比重来看,铠侠占63%、西部
    的头像 发表于 10-17 15:27 540次阅读

    西部数据携旗下全方位影视制作存储解决方案亮相BIRTV 2023

    2023年8月23日,北京– 西部数据公司将携旗下闪迪大师及闪迪品牌亮相第三十届北京国际广播电影电视展览会(BIRTV 2023)。在本届以“融合创新,面向未来”为主题的广播影视技术盛会上,西部数据
    的头像 发表于 08-23 13:04 410次阅读

    西部数据交易中心上线全国首个汽车数据交易专区

    助力数字重庆建设,西部数据交易中心通过技术创新、模式创新,积极打造具有重庆辨识度和全国影响力的数据要素价值化
    的头像 发表于 06-29 15:13 352次阅读
    <b class='flag-5'>西部数据</b>交易中心上线全国首个汽车<b class='flag-5'>数据</b>交易专区

    西部数据扩展闪迪移动microSDXC™ Nintendo Switch™专用存储卡系列

    更广泛的容量型号助力Switch玩家畅享探险之旅 2023年6月1日,上海– 西部数据公司(NASDAQ:WDC)近日宣布,旗下闪迪™(SanDisk™)品牌新增闪迪移动microSDXC
    的头像 发表于 06-05 10:12 730次阅读
    <b class='flag-5'>西部数据</b>扩展闪迪移动microSDXC™ Nintendo Switch™专用<b class='flag-5'>存储</b>卡系列