0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

实测 | 海纳百川,华为OceanStor Pacific分布式存储为多元算力应用带来更优选择

脑极体 来源:脑极体 作者:脑极体 2022-12-22 20:33 次阅读

被称为开眼看世界的林则徐,在自己的书房中写了这样一副对联,以做自勉:海纳百川,有容乃大,壁立千仞,无欲则刚。

包容的胸怀是我们做成很多事情的根基,也是一项产业战略、科技事业发展的关键。近几年,数据基础设施国产化,在科技自立的大背景下如火如荼。比如,以计算和存储为主要构成的HPC/AI数据基础设施事关国计民生,在以科技创新和基础科研为代表的关键领域均扮演着重要角色。但很多科技科研场景的HPC/AI数据基础设施当前都依托X86 CPU+GPU+Lustre存储+IB交换机这个大一统的抱团生态体系,且已成为业界公认的HPC/AI设施最佳性能组合之一。如何兼顾科技科研领域的效率成果与自立自强,为HPC/AI等多样性算力应用关键场景,提供最适合业务的数据底座,成为一个关键问题。

这种情况下,“海纳百川,有容乃大”的意义就凸显了出来。不久之前,在深圳一所国家重点实验室,华为OceanStor Pacific分布式存储与早期依托X86 CPU+GPU+Lustre存储+IB交换机组网构建的某大科学装置AI集群进行了综合的POC测试。其结果显示,华为OceanStor Pacific分布式存储完美兼容匹配该大科学装置的AI集群生态环境,更重要的是通过实测,其多项指标性能和功能均优于现有系统。华为与该国家重点实验室联合操作的这项POC测试意义极其深远重大,远超于一款产品或解决方案发布:它代表了一种实事求是,兼容并蓄的发展策略;是一块国产先进存储面向全球的敲门砖,一艘中国科技与全球化间的破冰船;对于科学研究,乃至更多领域的数字化、智能化进程来说,这是十分幸运的。

数据之潮,时代之需:科研场景的存储挑战

X86+GPU主导的大一统生态技术体系经过了数十年发展和构建,其大树根基在全球和中国已经十分深远。大量国际国内的数字化工具和软件应用,数字化成果都捆绑X86+GPU。这在某种程度上来说是种无奈,但也是客观存在不可回避的现实。

尤其在科研领域,HPC/AI正在全球各个学科的研究中扮演重要角色,X86+GPU算力平台可以更方便教授学者与科研从业人员接触全球最新学术动态和验证科研成果。这种强惯性的作用下,短时间内强行脱离X86生态是不现实的。因此,早期甚至当前新建的很多HPC/AI基础设施,选择建立在X86+GPU体系上。

随着HPDA的整体发展,从业务负载上而言需要考虑HPC/AI、大数据以及AI的混合叠加,需要支持应用驱动的科学计算工作流,进而推动负载以数据为中心,从计算科学发现转向数据科学发现转变。

科技科研的突破速度取决于数据基础设施的性能,特别是对数据存储性能带来极致挑战。第一个挑战是应用的数据量级从PB级正在加速走向EB级;第二个挑战是应用的负载从单一走向多样化,也就是常说的混合负载;最后一个挑战是应用类型的变化,从简单走向复杂。核心是数据与业务的耦合度在增加,数据计算需要参与整个业务流程的多个环节,且环环相扣,缺一不可。

在当前推进科技科研自立自强的大时代背景下,面对这些数据中心存储挑战和需求,以及面对X86+GPU体系暂不可完全替代,国内业界都希望看到先进的国产存储兼容X86+GPU环境的下的HPC/AI应用,也可以提供媲美Lustre存储的性能和功能。

更佳性能,更优选择:华为分布式存储的价值呈现

不久之前,华为OceanStor Pacific分布式存储与在深圳某国家重点实验室依托X86 CPU+GPU+Lustre存储+IB交换机组网构建的大科学装置AI集群进行了POC测试。从测试结果上看,整体兼容效果良好,没有出现任何兼容问题,并且使用了华为OceanStor Pacific分布式存储之后,存储在功能、性能上优于现有系统,融入计算集群的效果也更加良好。

这次测试对接的成功,表明华为在技术创新、产品兼容上的进取姿态,也表明其为科研创新,乃至更广阔计算、存储领域做出贡献的决心。科研教育与国家实验性,在一个国家的计算基础设施中具有代表性意义。与该大科学装置AI集群的成功对接,可以看作华为OceanStor Pacific分布式存储敲开了国产存储为HPC/AI提供更优选择的大门。HPC/AI应用场景下,Lustre不再独领风骚。

一般来说,多元算力包括x86、ARM、AI、GPU计算等多种计算生态,存储需要根据不同的计算场景与计算设施,为用户提供最佳体验。华为分布式存储的价值与优势,释放到HPC/AI场景,可以有效满足科研等场景中的存储需求。

具体而言,华为OceanStor Pacific分布式存储通过这样几个角度,破除HPC/AI场景的存储困局。

首先解决海量数据高性价比存储的问题:我们知道随着HPC/AI业务量的不断增长,往往最先遇到的是机房空间不足和存储成本高昂的问题。为此,华为推出了 华为OceanStor Pacific分布式存储高密专用硬件,基于全新的高密架构设计,并提供更高的容量利用率,在有限的机房空间里存下更多数据,更好地满足海量数据增长的需要。叠加华为OceanStor Pacific分布式存储的智能分级存储技术,对域内热、温、冷数据进行统一管理,数据能够在热、温、冷层系统间自动迁移,无需管理员手动干预,灵活有效地管理数据全生命周期,同时有效解决海量数据的运维管理难题。

其次,提供面向混合负载的高性能:HPC/AI应用计算所涉及的数据越来越多、类型越来越丰富、任务并发性也越来越高,因此需要性能更加均衡的存储。华为OceanStor Pacific分布式存储采用OceanFS新一代并行文件系统,结合独特的大小I/O自适应数据流技术,一套存储即可同时满足极致带宽、极致IOPS和极致时延的混合负载要求。通过与分布式并行客户端(DPC)的密切配合,打破单流和单客户端的性能瓶颈,帮助企业有效应对混合工作负载的挑战。

最后,多个不同业务环节数据的高效安全流动:由于数据量的增大、数据应用的复杂化,数据在不同环节、不同系统间高效流动是HPC/AI业务面临的一个主要挑战。华为OceanStor Pacific分布式存储拥有业界领先的多协议互通能力。多个存储服务同时访问一份数据,支持 NFS、CIFS、HDFS 和 S3 等协议的按需部署,通过其中一种协议写入的数据,无需迁移即可被其他协议读取,提高跨环节、跨系统的数据分析效率。

此次面向多元算力,释放多元算力价值的全面启航,展现了华为的包容与兼顾,也展现了华为OceanStor Pacific分布式存储乃至华为存储,迈向科研+HPC/AI场景的发展方向。

面向未来,有容乃大:数据基础设施再启航

在成功完成兼容测试后,华为在市场与受众的层面获得了更广泛的认可。但华为OceanStor Pacific分布式存储与深圳知名的国家重点实验室大科学装置X86 AI集群进行的POC测试,更广泛的价值在于面向科研领域、ICT领域,展现了一种关于有容乃大的智慧。

这次测试成功,对于多方面来说都有其意义。

对于科研机构来说,X86环境的HPC/AI可以很快获得更好的存储支持,即使不在短期进行国产化计算替换,也可以实现数据可控、可信的数字化战略,从而获得更稳健、开放的科研环境。

对于HPC/AI相关项目与数据中心来说,华为OceanStor Pacific分布式存储兼容多元算力意味着更多选择,更广阔的解决方案构建空间,确保计算基础设施真正实现多样性。对于计算国产化趋势来说,我们不搞封闭和孤立,而是在开放、包容的态势中走向科技自立自强。

华为分布式存储支持多元化算力,意味着是一个真正开放兼容、自主创新的高可靠存储数据底座正在建立,具备传统超算、大数据分析及AI分析能力,应用驱动统一数据源支持全流程科学计算服务,在为科研及商业提供多样性算力同时,能够基于数据知识累积,提供高阶数据价值服务。华为OceanStor Pacific分布式存储的兼容性提升,既是一次新的启航,也是一个明确的指向:它向世界展示了中国ICT产业海纳百川的胸怀,包容万物的决心。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3859

    浏览量

    84670
  • 分布式
    +关注

    关注

    1

    文章

    754

    浏览量

    74090
收藏 人收藏

    评论

    相关推荐

    华为推出的磁电存储设备“OceanStor Arctic”或颠覆存储器格局!

    近日,中国华为公司数据存储产品线总裁周跃峰博士在巴塞罗那世界移动通信大会上介绍了即将推出的磁电存储设备“OceanStor Arctic”。
    的头像 发表于 03-11 15:23 1352次阅读

    鸿蒙原生应用开发——分布式数据对象

    申请权限,用户点击授权即可赋予应用相应的权限啦~ 06、上手分布式数据对象代码开发 登录了同一华为帐号的 HarmonyOS 设备已经默认了进行了组网认证,所以在进行分布式数据对象开发之前无需再进行多
    发表于 12-08 10:01

    分布式系统硬件资源池原理和接入实践

    把各个设备的硬件外设抽象外设信息单元,外设信息在各个可信设备之间自动同步,如此,实现了外设信息的全局可见;结合分布式硬件虚拟化技术,实现任意设备之间的硬件外设能力跨设备调用;分布式硬件资源池作为系统
    发表于 12-06 10:02

    redis分布式锁三个方法

    Redis是一种高性能的分布式缓存和键值存储系统,它提供了一种可靠的分布式锁解决方案。在分布式系统中,由于多个节点之间的并发访问,需要使用分布式
    的头像 发表于 12-04 11:22 547次阅读

    华为正式发布全闪新品,具备灵活数据冗余配比

    据悉,日前华为正式宣布开源CANTIAN 引擎,并随即推出分布式存储全闪新品OceanStor Pacific 9920。 而根据公开的资料
    的头像 发表于 08-28 11:24 337次阅读

    OpenHarmony 分布式硬件关键技术

    哪些关键的分布式技术呢? 华为分布式硬件技术专家李刚在第一届OpenHarmony技术峰会上给大家带来了几点分享。 01►分布式硬件设计理
    发表于 08-24 17:25

    分布式存储的7个特征

    什么是分布式存储呢?如果一个存储系统,不管是对象、块、文件、kv、log、olap、oltp,只要对所管理的数据做了Partitioning&Replication,不管姿势对不对,其实
    发表于 07-18 14:17 697次阅读

    过程语言(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:11

    #分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:58:32

    夯实数据智能底座,华为云 GaussDB 给世界更优选择

    实践以及一站式迁移解决方案,为企业数字化转型提供一个更优选择分布式与云原生齐发力,夯实数据智能底座 在大会主会场,彭立勋表示,分布式、云原生是当前数据库发展的主要趋势。分布式和云将
    的头像 发表于 06-27 23:05 308次阅读
    夯实数据智能底座,<b class='flag-5'>华为</b>云 GaussDB 给世界<b class='flag-5'>更优选择</b>

    华为云数据库GaussDB:数字化转型和可持续发展的更优选择

    转型和可持续发展的更优选择。 GaussDB广泛应用在关键信息基础设施行业,并经历了全球顶尖银行和运营商,包括华为内部终端云服务和华为集团IT等严苛场景的商用考验。它是企业数字化转型、核心业务上云、
    的头像 发表于 06-14 23:01 335次阅读

    存储数据恢复】华为OceanStor存储raid5数据恢复案例

    华为OceanStor某型号存储,十几块FC硬盘组建一组RAID5磁盘阵列,配备了一块热备盘;上层使用EXT3文件系统,配置了oracle数据库。
    的头像 发表于 06-13 15:32 476次阅读
    【<b class='flag-5'>存储</b>数据恢复】<b class='flag-5'>华为</b><b class='flag-5'>OceanStor</b><b class='flag-5'>存储</b>raid5数据恢复案例

    华为云新一代分布式数据库GaussDB,给世界一个更优选择

    6月7日,在华为全球智慧金融峰会2023上,华为常务董事、华为云CEO张平安以“ 一切皆服务,做好金融数字化云底座和使能器 ”为主题发表演讲, 全面介绍了华为云基于全云化底座、
    的头像 发表于 06-08 17:55 707次阅读

    GaussDB如何给世界一个更优选择

    11 月 7 日,华为全联接大会 2022 第一天,华为云 CEO 张平安在主题演讲中,专门有一页 PPT 谈到了 GaussDB 信息量很大,不仅特别强调“GaussDB 云原生交易数据库,给世界一个更优选择”,同时,还分享了
    的头像 发表于 06-05 16:30 346次阅读

    登顶!华为OceanStor Pacific存储达成IO500榜单全球第一

    日前,国际最权威的存储性能排行榜—— IO500 最新榜单正式公布,以 华为 OceanStor Pacific 分布式
    的头像 发表于 05-26 13:15 520次阅读