0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

业界首个《分布式融合存储研究报告》发布,探索智算时代新存储底座

浪潮存储 来源:未知 2023-11-30 16:25 次阅读

2023年11月30日,中国电子技术标准化研究院、存储产业技术创新战略联盟联合华中科技大学、中山大学、之江实验室、浪潮信息、天翼云等20多家学研机构、企业和用户代表,共同撰写的业界首个《分布式融合存储研究报告》(以下简称:《报告》)正式发布。《报告》首次系统梳理并深入分析了分布式融合存储的概念、技术架构和应用场景,为融合存储产业发展提供参考和指引。

中国电子技术标准化研究院领导表示,“数据成为重要的生产要素,数据存储和数据管理在信息技术变革中的作用更加显著。分布式融合存储作为存储新技术,在数据存储领域将会发挥更大作用。”

中国计算机行业协会信息存储与安全专委会会长、华中科技大学教授谢长生表示,“存储作为数字技术底座之一,既得到空前发展也面临巨大挑战,分布式融合存储就是迎接这种挑战的关键技术,该报告汇聚了学术界、产业界和用户的集体智慧和经验,描述了一副全景视图。”

wKgaomVoSAqAQ-JdAADFJj5rIXM157.jpg

《分布式融合存储研究报告》

分布式融合存储将成为智算时代的数据基石

中国工程院院士、清华大学教授郑纬民指出,“数字化和智能化催生数据量爆炸式增长,分布式融合存储技术的出现,不仅可以提供数据存储的效率和安全性,还可以实现数据的动态管理和智能优化,为各种应用场景提供更加全面和可靠的数据支持。”

《报告》指出,相较于传统的分布式存储技术,分布式融合存储是在传统的分布式存储架构的基础上,实现了同一存储集群同时提供多种存储服务,并且在非结构化数据协议间实现了协议融合、数据融合互通的存储技术,其能够提供跨模式/格式数据共享互通的能力,并支持块、文件、对象、大数据多协议接入以及多协议关联统一管理,满足多应用跨不同协议实现高效的数据互通访问。

该报告明确了分布式融合存储的四大关键技术:统一存储池,保证数据能够均衡地分布在各个存储节点中,支持存储池的横向扩展,以及数据自动修复能力;存储服务融合,在一套存储系统中同时提供文件、对象、大数据和块存储服务,同时具备丰富的多协议支持能力;数据管理融合,采用统一的非结构化数据和元数据管理架构,保证各协议的原生访问;存储协议融合,支持NFS、CIFS、HDFS、S3等非结构化数据协议的融合互通,保证了各种协议共享同一份数据和元数据。分布式融合存储通过对底层硬件资源进行高通用性且细粒度的管理,可极大地缓解智算时代数据急剧增长所导致的存储资源紧张问题。

wKgaomVoSAuAUNSBAAH_wbMrUDs491.png

分布式融合存储架构

为五大典型场景提供强大存力支撑

分布式融合存储在海量多源异构数据处理和“通信、感知、计算”一体化的边缘场景方面提供了强有力的存力支撑,使其能够满足不同场景对于存储的需求,为当前的数字化转型时代提供了高效、多维、贯通和定制化的生产要素,让数据驱动向全场景渗透。

《报告》总结了分布式融合存储的五大典型应用场景:

自动驾驶为代表的深度学习场景:自动驾驶场景中数据量比较大,并且数据类型复杂。在整个数据生命周期中,根据不同阶段的应用,需要使用不同的协议。而分布式融合存储则实现多协议互访互通,并具备极致聚合性能,能够满足数据采集、数据标注、模型训练对于存储带宽、小文件处理、存储 IO 等方面的要求,使业务流程更加简洁高效;

AI/AIGC 为代表的大模型应用场景:模型的训练是AI开发的核心,这要求存储系统提供高带宽和高并发性能。分布式融合存储可避免因访问协议不同造成的数据拷贝,并提供海量多源数据、高性能、低延迟的存储基础设施,为AI应用的训练和推理提供强大存储能力的支撑;

以湖仓一体为代表的数据智能应用场景:湖仓一体的架构,数据来源多种多样,面向的服务和存储协议多种多样,所以融合存储是必然趋势。分布式融合存储为该场景提供了更高的计算扩展性,可为各类计算引擎同时提供存储需求,并实现协同合作和数据共享;

金融风控场景:金融风控场景的特殊性意味着,其对于存储系统的可用性、数据一致性、可扩展性、数据安全性、性能都提出了很高的要求。分布式融合存储通过高可用、高安全、高扩展、高性能设计,能够支撑系统实时数据访问和灵活扩容,满足大规模数据存储与分析的需求;

HPC高性能计算场景:在高性能计算领域,分布式融合存储技术的应用作用愈发重要,它通过将多种存储业务资源集成为一个整体,以满足对文件、对象、块功能的需求,以及性能和容量的要求,并提供高可靠性和可扩展性,为科学计算和数据分析提供了可信赖的数据基础。

分布式融合存储正成为用户首选的存储底座

《报告》预测,分布式融合存储这一新兴技术目前正处于发展早期阶段,仍面临多服务融合的高性能挑战,新存储形态的标准化挑战和智能化的运维管理挑战。

同时,分布式融合存储拥有广阔前景,首先分布式融合存储有助于“存力”构建,符合政策方向;其次,分布式融合存储在一套存储架构有效组织管理不同存储介质、存储协议和存储服务,使得“一套存储架构支持一个数据中心”成为可能;以AI大模型为基础技术,未来涌现的各类新应用需要更强大的数据基础设施和数据平台能力,带来不可估量的市场空间,注定分布式融合存储未来大为可期。

存储产业技术创新战略联盟秘书长李仁刚表示,“云计算、大数据和人工智能等技术的快速发展,将推动分布式融合存储的进一步应用、推广,成为越来越多行业用户的首选存储底座。”

wKgaomVoSAuAZKHzAAj2L20T11s372.png


原文标题:业界首个《分布式融合存储研究报告》发布,探索智算时代新存储底座

文章出处:【微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。


声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3856

    浏览量

    84660
  • 浪潮
    +关注

    关注

    1

    文章

    404

    浏览量

    23574

原文标题:业界首个《分布式融合存储研究报告》发布,探索智算时代新存储底座

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    大数据时代存储革命:理解分布式存储系统

    数据管理的效率极低。因此,分布式存储系统应运而生。 分布式存储就是将数据存储在众多的服务器或网络节点上,而不是集中在单个位置。这种方式的好处
    的头像 发表于 03-07 15:40 146次阅读

    曙光存储推出ParaStor分布式全闪存储

    曙光存储推出ParaStor分布式全闪存储,携业内首创技术XDS,以训练加速、稳定性强、性价比高的独特价值,全维度涵盖网络、计算和平台,为千行百业的AI大模型开发者提供存储解决方案。
    发表于 03-01 11:30 227次阅读

    一图读懂《分布式融合存储研究报告(2023)》

    转自:存储产业技术创新战略联盟 2023年11月30日, 存 储产业技术创新战略联盟、中国电子技术标准化研究院联合发布分布式融合
    的头像 发表于 12-21 18:05 312次阅读
    一图读懂《<b class='flag-5'>分布式</b><b class='flag-5'>融合</b><b class='flag-5'>存储</b><b class='flag-5'>研究报告</b>(2023)》

    星辰天合发布全新一代全闪分布式存储,英特尔® QAT及英特尔® DSA助其提供非凡性能

    ◇ 近日,英特尔的合作伙伴北京市星辰天合科技股份有限公司(简称:XSKY 星辰天合)举办了主题为“星星之火”的 XSKY 星海全闪架构暨星飞存储发布会,发布分布式全闪架构“星海(XS
    的头像 发表于 11-24 20:00 468次阅读
    星辰天合<b class='flag-5'>发布</b>全新一代全闪<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>,英特尔® QAT及英特尔® DSA助其提供非凡性能

    DFS分布式存储论坛在徐成功举办,优网中分融合成果正式发布

    11月8日,备受瞩目的DFS2023分布式存储论坛(徐州)暨中分融合成果发布会在徐州举行。来自商界、政界、学界等领域与会嘉宾共同探讨分布式
    的头像 发表于 11-08 15:44 356次阅读
    DFS<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>论坛在徐成功举办,优网中分<b class='flag-5'>融合</b>成果正式<b class='flag-5'>发布</b>

    分布式融合存储研究报告(2023)》即将发布 | 释放数据潜能,筑基数字经济

    随着云计算、大数据、人工智能、高性能和多模计算等技术的发展,以文本、图片和视频为代表的非结构化数据呈现出爆发式增长。分布式融合存储以其强大的横向扩展能力、近线性的性能增长能力、多种协议的兼容能力以及
    的头像 发表于 11-03 18:35 339次阅读

    高效管理海量数据!忆联 SSD 为分布式存储提供极致性能

    近年来,为满足大规模的存储应用需求,分布式存储成为云环境下存储底座构建的重要选择,相较于传统集中式存储
    的头像 发表于 10-13 15:55 328次阅读
    高效管理海量数据!忆联 SSD 为<b class='flag-5'>分布式</b>块<b class='flag-5'>存储</b>提供极致性能

    基于ZigBee的分布式井盖监控系统

    随着我国现代经济发展水平的不断提高,城市井盖数目逐渐增加。由于较多井盖被盗,致使路面形成陷阱,危害到过往车辆和行人安全。本文提出了一种基于 ZigBee无线网络的智能安全监控系统,解决分布式布控困难
    发表于 09-18 08:46

    阿里平头哥发布首个 RISC-V AI 软硬全栈平台

    转自https://m.ithome.com/html/714391.htm 2023 RISC-V 中国峰会8月23日在北京召开,平头哥在会上发布首个自研 RISC-V AI 平台。 据介绍,该
    发表于 08-26 14:14

    分布式存储的7个特征

    什么是分布式存储呢?如果一个存储系统,不管是对象、块、文件、kv、log、olap、oltp,只要对所管理的数据做了Partitioning&Replication,不管姿势对不对,其实
    发表于 07-18 14:17 696次阅读

    分布式存储架构面临的挑战

      从云和互联网的业务场景来看,其存储域主要采用基于服务器部署分布式存储服务的融合方式,它面临如下挑战 : 1.数据保存周期与服务器更新周期不匹配。大数据、人工智能等新兴业务催生出海量
    的头像 发表于 07-05 10:44 944次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>架构面临的挑战

    分布式存储的分类和典型应用场景

    分布式对象存储:指各存储节点由标识符、数据和元数据的对象数据构成。其中标识符在该存储系统中唯一,用于区分不同存储区域;元数据将提取数据特征,
    发表于 06-12 14:38 3009次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>的分类和典型应用场景

    如何使用分布式存储系统促进AI模型训练

    这凸显了分布式存储在人工智能(AI)领域的重要性。JuiceFS 是一个开源、高性能的分布式文件系统,为这个问题提供了解决方案。
    发表于 06-12 09:28 348次阅读
    如何使用<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统促进AI模型训练

    融合互通,浪潮分布式融合存储AS13000加速海量数据处理

    智慧时代,数据量激增且非结构化数据的占比逐渐增大,数据类型愈发复杂,处理数据的方式更加多样化,传统单一存储难以满足市场需求。基于此,浪潮推出了非结构化数据融合互通新平台分布式
    的头像 发表于 06-07 10:57 385次阅读
    <b class='flag-5'>融合</b>互通,浪潮<b class='flag-5'>分布式</b><b class='flag-5'>融合</b><b class='flag-5'>存储</b>AS13000加速海量数据处理

    曙光存储加速助力高校科研教育创新

    近日,赛迪发布最新《中国分布式存储市场研究报告(2023)》(以下简称报告),针对中国分布式
    的头像 发表于 05-30 17:22 645次阅读