0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

融合互通,浪潮分布式融合存储AS13000加速海量数据处理

浪潮存储 来源:浪潮存储 2023-06-07 10:57 次阅读

智慧时代,数据量激增且非结构化数据的占比逐渐增大,数据类型愈发复杂,处理数据的方式更加多样化,传统单一存储难以满足市场需求。基于此,浪潮推出了非结构化数据融合互通新平台分布式融合存储AS13000。

为什么需要多协议融合互通?

随着云计算、大数据、AI技术的高速发展,数据的处理方式越来越多样化,在自动驾驶、天文观测、基因测序等场景下,一次数据处理过程通常涉及文件、对象、大数据多种协议的数据存储和访问方式。

S3/NFS观测数据采集 NFS数据分类、筛选、注释 HDFS对数据进行大数据分析 S3成果压缩后保存
数据采集 数据预处理 数据分析 成果保存

天文观测数据处理流程

以天文观测场景为例,一次完整的天文观测数据处理涉及到数据采集、数据预处理、数据分析和成果保存四个步骤,不同阶段使用了不同的访问协议。传统分布式存储仅支持单一协议访问,即客户需要同时部署多套存储系统,并且不同协议处理时,需要进行数据转换和拷贝,造成存储空间浪费和存储成本增加的同时,极大程度降低数据的处理效率。

协议互通:高效、安全、便捷、低成本存储

多协议融合互通既是时代产物,又是时代的成就者。浪潮分布式存储AS13000基于对非结构化数据协议(NFS/CIFS/HDFS/S3)的研究,通过持续技术创新和技术突破,打造出非结构化数据融合互通存储新平台,为用户提供更高效、更安全、更便捷、更低成本的数据存储服务。

wKgaomR_8kCADW2cAAFNmt37eSU034.png

非结构化数据融合互通存储架构

7大技术突破,助力分布式存储变革

其一,存储资源融合互通,数据全局共享

AS13000分布式融合存储平台构筑了全局统一存储资源池,数据及元数据均统一管理,不同协议(NFS/CIFS/HDFS/S3)共享共用,且创建的文件、数据及元数据仅保存一份,有效减少数据重复存储成本。

其二,多协议融合互通,数据零拷贝

根据传统NFS、CIFS、HDFS和S3存储协议的特点,AS13000分布式融合存储平台设计出统一的存储架构。协议层无需数据转换和拷贝、安装网关或插件及在计算侧或应用层改造,即可直接原生语义无感接入,大大提升数据处理效率。

其三,原生语义支持,语义零损失

语义损失是导致传统协议互通方案无法商用的主要原因。文件、HDFS和对象服务由于使用场景的差异,每种服务都有各自独立的语义,如文件的快照、对象多段上传及HDFS Ranger鉴权等。传统协议互通方案由于存储架构和元数据管理不统一,无法实现各协议完整的语义支持,通常需要上层适配修改,造成语义损失。浪潮分布式融合存储平台AS13000在统一存储架构上实现多协议的统一元数据管理,支持各协议原生无损语义访问存储系统,应用无感接入。

其四,权限互通,多协议权限联动

由于文件、对象、HDFS协议权限管理方式各不相同,传统协议互通方案权限管理较为混乱,无法做到权限互通,给用户访问带来极大的不便和困扰。

AS13000针对Windows用户、Unix用户和对象用户的不同访问形式及隔离限制,设计出用户映射机制,实现不同类型用户权限共享,打破不同类型用户之间互相隔离的壁垒;提炼出统一的权限管理架构,统一管理非结构化数据权限。可以做到一份数据,一份权限信息,一种协议修改权限,对其它协议同时生效,真正做到了权限实时联动。

其五,冗余保护,数据安全可靠

AS13000支持更全面的数据保护策略,提供跨节点、跨机架、不同级别的数据冗余保护,用户无需担心宕机、掉电等意外故障带来的数据丢失风险。同时支持数据副本、纠删冗余策略,能够实现数据及时快速恢复,提高数据可靠性。

其六,数据分级存储,降低存储成本

随着数据的爆炸式增长,单一形式的存储已经无法满足用户高性能和低成本的需求。AS13000提供灵活的分级策略,将数据按照设定的策略和热度分别存储在高性能存储介质和相对低成本的存储介质中,合理利用存储空间,降低存储成本,快速响应用户的数据存储需求。

最后,特性级互通,高效便捷

凭借统一的特性架构和操作接口,实现特性级互通,对外提供统一的增值特性服务,如统一配额、统一QoS、统一分级存储、统一回收站、统一元数据检索。设置后,对NFS、CIFS、S3、HDFS等多种协议即时同步生效。

浪潮分布式融合存储平台AS13000通过多年的持续技术创新,以一份数据支持多种协议访问,实现了非结构化数据融合互通,在提升数据处理效率的同时降低了存储购置和运维成本,做到语义无损、数据零拷贝、权限联动、应用无感接入。全面加持数据保护策略,助力企业数字化转型,加速释放数据价值。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    38

    文章

    7351

    浏览量

    135721
  • 存储
    +关注

    关注

    12

    文章

    3859

    浏览量

    84667
  • 数据采集
    +关注

    关注

    38

    文章

    4530

    浏览量

    112316
  • 浪潮
    +关注

    关注

    1

    文章

    404

    浏览量

    23576
  • AI
    AI
    +关注

    关注

    87

    文章

    26458

    浏览量

    264072

原文标题:融合互通,浪潮分布式融合存储AS13000加速海量数据处理

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    多传感器信息融合技术解析

    之和是相当的。  信息融合作为对多传感器信息的综合处理过程,具有本质的复杂性。在信息融合处理过程中,根据对原始数据处理方法的不同,信息
    发表于 11-07 11:06

    关于光载无线分布式天线的全面介绍

    (ROF)系统的分布式天线网络将在2G/3G/4G/WLAN四网融合的接入中发挥极其重要的作用。ROF分布式天线网络的一般结构如图1所示。利用模拟直调光模块将射频信号调制到光载波上,经过光纤传输至远端天线
    发表于 06-11 07:45

    分布式软总线实现近场设备间统一的分布式通信管理能力如何?

    现实中多设备间通信方式多种多样(WIFI、蓝牙等),不同的通信方式使用差异大,导致通信问题多;同时还面临设备间通信链路的融合共享和冲突无法处理等挑战。那么分布式软总线实现近场设备间统一的分布式
    发表于 03-16 11:03

    破解元数据存储与管理难题,是浪潮软件定义存储驰骋海量数据时代的关键

    移动互联与人工智能时代,从根本上破解元数据存储与管理难题,是浪潮软件定义存储AS13000驰骋海量
    的头像 发表于 02-05 13:46 5548次阅读

    中标中国移动!运营商第一次针对分布式存储的大规模集采

    浪潮分布式存储AS13000近日成功中标中国移动2017至2018年分布式存储集采项目,份额高达
    的头像 发表于 03-02 17:27 5539次阅读

    智慧驱动新数据时代,新技术、新应用刺激数据存储演进

    同时基于Scale-out架构的浪潮海量存储系列,可融合多类型数据。在“All in One”架构下可支持文件、块、对象和大
    的头像 发表于 06-29 14:35 4001次阅读
    智慧驱动新<b class='flag-5'>数据</b>时代,新技术、新应用刺激<b class='flag-5'>数据</b><b class='flag-5'>存储</b>演进

    基于浪潮分布式存储,让电签效率提升2倍

    为满足广东移动电签平台的海量数据存储需求,浪潮帮助广东移动部署两套集群各6节点的AS13000分布式
    的头像 发表于 04-30 15:23 3116次阅读

    浪潮存储已经连续第三次中标中国移动分布式文件存储集采

    本次入围,浪潮AS13000分布式存储系统,凭借优异的性能、可靠性、稳定性,将为中国移动性能型场景提供优质的产品和服务。该产品基于业界首个“多合一”极简架构,不仅可以将
    的头像 发表于 01-18 16:05 2053次阅读

    浪潮存储推出G6全闪分布式存储

    随着数字经济与实体经济加速融合分布式存储市场将持续稳健增长。IDC数据显示,21年中国分布式
    的头像 发表于 04-18 14:16 1658次阅读

    浪潮信息发布新一代G6全闪分布式存储

    日前,2022分布式存储线上峰会开幕。随着数实融合不断深入,企业IT业务重心从数据管理变为数据运营,如何在承载
    的头像 发表于 04-19 09:42 1393次阅读

    浪潮分布式存储平台AS13000让企业轻松应对海量数据挑战

    随着经济社会加速数字化转型,大数据、云计算、人工智能、区块链等新一代信息技术快速兴起,智慧政务、金融科技、智慧交通、远程教育、智慧医疗等应用加速落地,包含各种办公文档、图片、视频、音频、设计文档
    的头像 发表于 08-14 14:16 1355次阅读

    获得权威认可!浪潮存储通过两项可信云分布式存储评测

    近日,中国信息通信研究院公布可信云分布式存储评测结果。浪潮存储凭借AS13000分布式
    的头像 发表于 02-06 11:29 1416次阅读

    浪潮信息澎湃认证:浪潮分布式存储携手博雅云OneSRM SMP存储管理平台完成兼容性认证

    近日, 博雅云OneSRM SMP存储管理平台与浪潮分布式存储AS13000系列产品完成并通过浪潮
    的头像 发表于 07-12 09:15 376次阅读
    <b class='flag-5'>浪潮</b>信息澎湃认证:<b class='flag-5'>浪潮</b><b class='flag-5'>分布式</b><b class='flag-5'>存储</b>携手博雅云OneSRM SMP<b class='flag-5'>存储</b>管理平台完成兼容性认证

    业界首个《分布式融合存储研究报告》发布,探索智算时代新存储底座

    2023年11月30日,中国电子技术标准化研究院、存储产业技术创新战略联盟联合华中科技大学、中山大学、之江实验室、浪潮信息、天翼云等20多家学研机构、企业和用户代表,共同撰写的业界首个《分布式
    的头像 发表于 11-30 16:25 195次阅读
    业界首个《<b class='flag-5'>分布式</b><b class='flag-5'>融合</b><b class='flag-5'>存储</b>研究报告》发布,探索智算时代新<b class='flag-5'>存储</b>底座

    一图读懂《分布式融合存储研究报告(2023)》

    转自:存储产业技术创新战略联盟 2023年11月30日, 存 储产业技术创新战略联盟、中国电子技术标准化研究院联合发布《分布式融合存储研究报告(2023)》,详细阐释
    的头像 发表于 12-21 18:05 315次阅读
    一图读懂《<b class='flag-5'>分布式</b><b class='flag-5'>融合</b><b class='flag-5'>存储</b>研究报告(2023)》