0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据时代,西部数据的应对之道:创新存储架构

话说科技 2021-04-23 13:16 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在日前于IPF2021浪潮数据中心合作伙伴大会期间举办的数据存储论坛上,西部数据公司副总裁兼中国区业务总经理刘钢做了题为“创新存储架构,赋能智算浪潮”的主题演讲,阐释了西部数据公司在大数据时代的存储应对之道。

西部数据公司副总裁兼中国区业务总经理刘钢

大数据时代存储面临挑战

在如今的数字经济时代,数据作为企业的宝贵资产,已经成为驱动企业发展的核心生产力要素。伴随以人工智能物联网5G等为代表的数字技术的不断发展和落地,其带来的是数据量级的激烈增长。事实上,对于企业用户而言,要存储这些宝贵资产也面临着极大挑战。

刘钢在演讲中谈到,如今数据的来源并不仅仅是人,也包含了成千上万的机器设备,以及数据中心所产生的数据。而次生数据的放大效应也会产生更巨量的数据。在未来几年中,这些新增数据量加在一起会达到惊人的3ZB。

而即便数据增长如此快速,但最终也只有1.5%的数据被存储下来。因为对于数据存储而言,企业用户既存在海量的存储需求,也存在快速访问寻求,同时也对于存储的成本和功耗提出更高的要求。

西部数据的应对之道:创新存储架构

当前数据存放的关键技术基本可分为两种,其一是HDD,用于存放大数据;其二是SSD,对应着快数据的存放。刘钢表示,为了应对大数据时代的上述问题及挑战,仅凭一种存储技术显然难以做到。西部数据所做的是对存储架构进行创新。

由于数据对于存储的需求并不相同,有着不同的分层。而无论是SSD还是HDD,当对数据进行分区,其在存储盘中引发的效应就会增强。在西部数据看来,创新的存储架构包括三种:

第一种存储架构是分布式存储。相对于传统中心化的存储方法WEB2.0,WEB3.0是去中心化的分布式存储方法。去中心化带来新的存储架构,同时也带来了存储在成本和容量方面的优势。

第二种存储架构是分层存储。数据分为不同层,根据数据对于存储的容量、时延等指标的需求,西部数据将其分为极热存储、热存储、温存储、冷存储和极冷存储五层。不同的数据需求需要对应不同的存储设备。

例如冷存储大容量盘可达到18TB,极冷存储则可引入多次读取等技术;而在快存储中,用户希望快速访问高价值数据,进行业务的预测或决策等,因此可以应用SSD解决。

值得一提的是,尤其是对于互联网领域云存储而言,HDD容量密度的提升可以降低整体数据中心的部署及运营成本。比如在配置不变的前提下,将HDD密度从14TB提升至18TB,则可以降低22%的服务器使用,单位功耗则会降低21%。因此,许多特别是互联网服务商多会快速跟进最新的存储容量。

第三种存储架构是分区存储。SSD中往往会设有一个预留空间(7.68TB为7%,6.4TB为28%),其很多时候会进行数据垃圾的收集。而在ZNS SSD中,预留空间容量为零,但采用了新的技术进行分区处理。ZNS SSD带来的一大好处是,垃圾数据收集时并没有拉低整体存储的性能,同时也降低了成本。

在美国健康数据管理服务商Qumulo应用案例中,其采用西部数据Ultrastar SN640 7.68TB NVMe SSD之后,每日可读取和分析高达2PB的数据,数据分析量提升20倍,极大推进了疫苗开发工作以及对疫情的控制。

另外,IPFS通过采用(4U60+18T) 相比传统存储方案(4U36+16T)让机柜空间减少46%,电源功耗降低36%,实现TCO成本的降低。

西部数据的三大优势

应该说,在企业用户的数据存储中,SSD对于用户整体存储的成本和性能的影响至关重要。而对于SSD供应商而言,要极大降低SSD成本,拥有自己的大规模产能非常重要。

会上,刘钢强调了西部数据在SSD领域拥有的三大核心优势:

第一,西部数据拥有全球领先的SSD产能优势。在这方面,西部数据与铠侠可以占到全球产能三分之一的份额。

第二,西部数据拥有领先的SSD技术优势。今年2月,西部数据发布了最新第六代162层3D闪存技术。其横向单元阵列密度较上一代技术提高了约10%;与112层堆叠技术相比,第六代技术将晶圆尺寸有效减小40%,大大优化成本;与上一代产品相比,第六代程序性能提升2.4倍,读取延迟降低约10%,I/O性能提高约66%。

第三,西部数据拥有垂直企业级固态硬盘纵向集成优势。例如在全球最大电商之一应用案例中,其对于稳定性的要求是上下10%波动,而西部数据相应方案的实测波动仅为0.11%。

除了全球市场,西部数据也与中国企业巨头保持了紧密的合作。比如西部数据与浪潮一直存在非常多的合作。

刘钢表示,在面临大数据时代挑战时,应对之道是创新的存储架构,包括分布式存储、分层存储和分区存储。西部数据不仅提供新的技术来不断创新和优化存储产品及解决方案,也会携手合作伙伴共同创新企业级存储市场的未来。

西部数据公司副总裁兼中国区业务总经理刘钢

“高速发展的人工智能在对数字经济产生巨大赋能和推动的同时,也推动整个计算产业向'智慧计算'方向演进,巨量模型和海量数据,对算力和存储的需求呈指数级增长。我们很高兴能持续深化与浪潮的合作,结合双方前沿科技与产品的独特优势,协力打造出高性能、低成本、且兼具稳定性与扩展性等特点的卓越解决方案,优化资源配置,赋能智慧计算。未来,西部数据将与浪潮加强纵深合作,不断以创新的数据存储架构和解决方案,应对市场多样化的需求,并携手生态系统中的各方伙伴共同推动智能产业的转型与发展,为行业用户创造更多价值。”刘钢如是说。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI 与大数据驱动的半导体制造时代:面向分析就绪的 FDC 技术

    大数据分析与人工智能已成半导体制造核心技术,行业核心挑战并非数据采集,而是获取可被大规模使用、分析并快速响应的就绪型数据。普迪飞JonHolt在2025年用户大会提出:“如何应对数据
    的头像 发表于 04-21 16:03 187次阅读
    AI 与<b class='flag-5'>大数据</b>驱动的半导体制造<b class='flag-5'>时代</b>:面向分析就绪的 FDC 技术

    黑M-狂野大数据5期|网盘无密Mp4+大数据直播课-狂野大数据

    科技重构数据生产力:狂野大数据直播实战全解析 随着数字化时代的快速发展,大数据已经渗透到我们生活的方方面面。无论是商业、教育,还是医疗、政府服务,
    的头像 发表于 04-06 11:13 206次阅读

    当 AI 遇上 ICY DOCK 硬盘盒:企业 AI 基础设施的存储革新之道

    方案已逐渐力不从心。ICYDOCK,这个拥有30年存储配件研发经验的品牌,正以创新的设计和卓越的性能,助力AI时代的定制化高性能存储解决方案,让硬盘盒从简单的"
    的头像 发表于 03-13 14:54 889次阅读
    当 AI 遇上 ICY DOCK 硬盘盒:企业 AI 基础设施的<b class='flag-5'>存储</b>革新<b class='flag-5'>之道</b>

    西部数据WD最新HDD技术路线曝光!40TB容量新高,100TB HDD指日可待

    近日,Western Digital更名为 WD,并推出新的品牌标识。该设计在视觉上参考了数据中心元素,体现公司转型为 AI 驱动型数据经济的核心存储基础设施提供商。西部数据迈入WD新
    的头像 发表于 02-06 10:51 2802次阅读
    <b class='flag-5'>西部数据</b>WD最新HDD技术路线曝光!40TB容量新高,100TB HDD指日可待

    西部数据加速 AI 时代存储创新

    Western Digital现更名为 WD,并发布 100TB+ HDD 路线图、性能与功耗优化的硬盘技术突破,以及重新定义存储经济效益和客户价值实现速度的智能平台解决方案   核心亮点
    的头像 发表于 02-04 15:11 306次阅读
    <b class='flag-5'>西部数据</b>加速 AI <b class='flag-5'>时代</b><b class='flag-5'>存储</b><b class='flag-5'>创新</b>

    如何突破AI存储墙?深度解析ONFI 6.0高速接口与Chiplet解耦架构

    :ONFI 6.0 PHY IP作为全球领先的集成电路IP供应商,奎芯科技已实现对ONFI 6.0标准的全面支持,旨在破解大数据时代的存取鸿沟。• 极致传输速率:支持最高 4800Mbps(符合
    发表于 01-29 17:32

    大数据平台运营的基础是什么

    在数聚股份看来,越来越多的企业开始搭建自己的大数据平台体系,并倾注大量资源用于平台的迭代和运营。那么大数据平台作为越来越被关注的企业新兴价值点,它应该以何种方式看待,并且以什么样的方式去建设和运营
    的头像 发表于 12-23 16:07 355次阅读

    西部数据2026年展望:AI时代构建面向未来的存储

    的技术创新,和以AI数据中心、具身智能、新能源汽车、工业智能、卫星通信、AI眼镜等为代表的新兴应用,开启新一轮的技术和应用革命。过去的一年,半导体助力夯实数字经济高质量发展的全新底座,新的一年,半导体行业又将如何推动端云协同、普惠
    的头像 发表于 12-23 09:30 5047次阅读
    <b class='flag-5'>西部数据</b>2026年展望:AI<b class='flag-5'>时代</b>构建面向未来的<b class='flag-5'>存储</b>

    vsan数据恢复—VSAN超融合架构:供电异常的vsan数据恢复案例

    Vsan是一种可扩展的分布式存储架构,这种存储架构区别于其他存储架构的地方在于由vsan进行管理
    的头像 发表于 12-04 16:17 815次阅读

    西部数据扩建系统集成测试实验室,以加速客户在持续增长的 AI 和云时代取得成功

    西部数据(NASDAQ: WDC)近日宣布正式启用其扩建的系统集成测试 (SIT)实验室。这座先进的设施占地 25,600 平方英尺,旨在加速客户成功并加快价值落地。随着 AI 应用驱动存储需求的大幅增长,新实验室将聚焦满足客户的关键需求——对
    的头像 发表于 10-22 16:05 1590次阅读
    <b class='flag-5'>西部数据</b>扩建系统集成测试实验室,以加速客户在持续增长的 AI 和云<b class='flag-5'>时代</b>取得成功

    曙光存储超级隧道技术助力应对PCIe 6.0时代

    8月29日,聚焦“智存·智算·智能”的第二届CCF中国存储大会在武汉隆重召开。会上,曙光存储副总裁郭照斌宣布,“超级隧道”技术能更好的应对PCIe 6.0时代,为下一代国产芯片效能释放
    的头像 发表于 09-03 14:01 684次阅读

    西部数据通过 MLPerfâ Storage V2 测试结果,验证其真实场景下的AI存储性能

    西部数据 OpenFlex™ Data24 4000 系列 NVMe-oFä 存储平台,基于铠侠 CM7-V 系列 NVMe® 固态硬盘与配置 PEAK:AIO 软件的AI智算服务器,展现出卓越
    发表于 08-05 18:15 1069次阅读

    西部数据与鸿佰科技达成长期合作关系,提供面向AI工作流的高性能、适配网络架构的存算分离存储解决方案

    上海,2025年5月15日 – 西部数据公司(NASDAQ: WDC)与全球领先的电子制造服务供应商富士康科技集团旗下子公司鸿佰科技近日宣布达成战略合作,将联合推出一款全新的旗舰级具有嵌入式存储功能
    发表于 05-15 15:34 1284次阅读

    陶瓷数据存储,寿命可达5000年

    电子发烧友网综合报道,德国陶瓷数据存储新创公司 Cerabyte近日获得西部数据的战略投资,双方将合作推进陶瓷数据存储技术的研发进程。Cer
    的头像 发表于 05-15 00:08 7254次阅读
    陶瓷<b class='flag-5'>数据</b><b class='flag-5'>存储</b>,寿命可达5000年

    戴尔科技存储产品构筑数据安全保护防线

    当前,机器学习、云计算、大数据等新技术的广泛应用,引发了传统生产要素以及以数据为代表的新生产要素的融合与创新配置,由此深刻的改变着千行万业的运作模式,并加速了数字经济发展,同时更催生了海量数据
    的头像 发表于 05-12 10:01 967次阅读