0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

多源零拷贝技术在数据存储中起到了怎样的作用?

浪潮存储 来源:未知 作者:工程师郭婷 2018-08-05 10:50 次阅读

在互联网、云计算AI、大数据等新智能应用驱动的新数据时代下,数据存储作为一切其他数据行为的基础,扮演着越来越重要的角色。浪潮软件定义存储AS13000通过模块化定义的方式,基于多源零拷贝技术实现多应用高效共享一套存储系统,提高数据应用效率。

云计算、大数据、AI、物联网等各种新智能应用不断涌现,带来数据需求的改变。文件、对象等数据类型需求增多。一方面,传统的文件系统存储服务正被企业广泛应用;另一方面,有着鲜明的互联网、大数据时代特点对象存储,也越来越受到互联网用户青睐。

每一种存储分别对应不同的访问协议,文件存储主要操作对象是文件和文件夹,例如NFS协议;对象存储协议则主要为S3、Swift。浪潮软件定义存储AS13000的优势即在于,通过模块化定义的方式,实现了在同一存储系统中可以同时支持文件、对象等多种存储协议,让用户通过一套存储系统即可支持企业各种应用访问存储数据,大大节省TCO。

1什么是对象存储?

对象存储是一种新的采用扁平数据的组织形式,并提供基于HTTP协议的RESTful接口访问的分布式存储系统。它适用于一次写入,多次读取的非结构化数据存储的需求场景,例如文档、图像、视频网络媒体文件。在云计算与大数据时代,对象存储发展迅猛。

不过,目前业界的同类存储产品,每种存储系统只能提供1种或2种存储协议。对于新增对象存储需求的用户,这就要求在多应用环境中必须部署2套或2套以上的存储系统,无疑增加了用户的初始投资,且增大了后期维护和管理的难度。

浪潮软件定义存储AS13000则通过所提供的多源零拷贝技术,实现了在线存储和大数据分析存储的统一融合。企业的各种应用在存取数据时,无需在存储集群间进行数据拷贝,而是通过文件系统方便地访问对象存储的数据,同时还可以高效实现大数据的分析和挖掘。

2对象存储:通过多源零拷贝技术,共享一套存储

多源零拷贝技术,是通过对NFS协议、HDFS文件协议和S3/Swift对象协议多种存储协议的融合,来实现多应用存取数据共享一套存储系统的先进技术。多源零拷贝技术既避免了数据在不同存储之间来回拷贝的问题,又解决了用户投资大、维护和管理难的问题。

多源零拷贝技术示意图

浪潮软件定义存储AS13000之所以可以同时支持NFS、S3/Swift、HDFS(Hadoop分布式文件系统)访问底层对象存储,是因为采用了以下技术:

AS13000基于DOS设计和实现S3/Swift接口。它在S3/Swift接口基础上封装FS适配器,实现了HDFS接口和NFS接口的对接,从而实现大数据应用程序和NFS应用程序对存储系统的访问。

AS13000的对象应用程序通过S3/Swift接口直接调用底层存储系统,从而实现对象应用程序对对象数据的上传与下载。AS13000底层存储是一个高可用、智能化的分布式对象存储系统,支持自修复、自管理等底层数据管理功能,它向上提供UDOS访问函数库,能够支持DOS、DFS和DBS等模块的访问。3提高对象存储数据访问效率

浪潮软件定义存储AS13000提供的多源零拷贝技术,避免了企业不同业务应用数据在多存储系统之间的拷贝,因此可以有效提升数据访问效率,为多场景、多应用的“互联网+”用户带来了优势。

浪潮软件定义存储AS13000在医疗领域慢病跟踪私有云存储场景的应用

目前,浪潮软件定义存储AS13000在各行各业已经有了广泛应用。以医疗领域应用为例,AS13000已经应用于慢病跟踪私有云存储解决方案。系统的数据来源包括病人公有云监测数据、电子病历文件及数据库、PACS影像数据等多种渠道,通过Storming,Spark等流式和批量数据分析和运算,将HBASE开源数据集存储到AS13000中,然后通过慢病档案等应用,对HBASE结果数据进行前端展示,提供辅助治疗决策及建议。

浪潮软件定义存储AS13000存储系统的优势在于,支持原生多种文件/对象协议接口, 通过一套存储集群,适配多种场景多个应用,给医院节省了硬件成本;与此同时,通过数据存储融合,使得Spark、Storm读取多源数据的效率提升,HBASE存储数据效率也得到相应提升,从而提升了整个存储系统的访问效率。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    38

    文章

    7347

    浏览量

    135709
  • 互联网
    +关注

    关注

    54

    文章

    10906

    浏览量

    100728
  • 数据存储
    +关注

    关注

    5

    文章

    895

    浏览量

    50584
  • AI
    AI
    +关注

    关注

    87

    文章

    26443

    浏览量

    264040
  • 大数据
    +关注

    关注

    64

    文章

    8649

    浏览量

    136587

原文标题:多源零拷贝,提升数据应用效率的核心技术

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    态势数据如何存储在数据库里面呢

    智慧华盛恒辉态势数据存储在数据库中需要遵循一系列原则和步骤,以确保数据的完整性、一致性、安全性以及可扩展性。以下是关于态势数据如何
    的头像 发表于 04-22 16:46 88次阅读

    时钟脉冲类型和作用介绍

     在数字电路中,时钟脉冲被用作触发器和寄存器的控制信号,用于同步和调度数据的传输和处理。它起到了分时和协调不同部件的作用,确保它们按照特定的时间顺序执行。
    的头像 发表于 01-26 17:27 1659次阅读

    电阻电容并联后在电路起到什么作用

    电阻和电容并联,运放输出脚和地之间并联电阻电容,这个电阻容并联起到了一个什么作用,原理是什么?不太像是低通或高通滤波器,那样的话电阻和电容是串联的
    发表于 01-14 15:10

    什么是零拷贝技术

    的应用中,经常会发生这种问题,导致CPU都在做数据拷贝,没有时间处理其他的应用功能了,直接的感觉就是处理卡顿。 零拷贝技术 针对这种问题,零拷贝
    的头像 发表于 11-27 16:20 236次阅读
    什么是零<b class='flag-5'>拷贝</b><b class='flag-5'>技术</b>

    传统IO演化至零拷贝的过程

    拷贝(Zero-Copy)用于在数据读写过程中减少不需要的CPU拷贝,CPU就那么几个,减少它的负担自然可以提高处理效率。数据传输有本地的文件拷贝
    的头像 发表于 11-09 09:09 230次阅读
    传统IO演化至零<b class='flag-5'>拷贝</b>的过程

    焊锡膏在SMT贴片加工中起到了哪些重要作用

    从事SMT贴片加工行业的朋友应该都接触过焊锡膏。购买这种材料时,他们经常被要求仔细选择,他们需要与焊锡厂家协商样品。这是一种非常重要的材料。那么,这么重要的材料起到了什么作用呢?今天佳金源锡膏厂家
    的头像 发表于 11-06 18:00 468次阅读
    焊锡膏在SMT贴片加工中<b class='flag-5'>起到了</b>哪些重要<b class='flag-5'>作用</b>?

    请问电容在电路充电后起到什么作用

    电容在电路充电后起到什么作用
    发表于 11-03 08:07

    导轨在数控机床中起哪些作用

    导轨在数控机床中起哪些作用
    的头像 发表于 11-02 17:45 799次阅读
    导轨<b class='flag-5'>在数</b>控机床中起哪些<b class='flag-5'>作用</b>?

    贴片电感在led灯里起到什么样的作用

    贴片电感在led灯里起到什么样的作用? 贴片电感作为一种重要的电子元器件,其在LED灯中起到了非常重要的作用。本文将对贴片电感在LED灯中的作用
    的头像 发表于 09-14 11:00 1478次阅读

    存储网络在数据中心现代化中的作用

    电子发烧友网站提供《存储网络在数据中心现代化中的作用.pdf》资料免费下载
    发表于 09-01 14:43 0次下载
    <b class='flag-5'>存储</b>网络<b class='flag-5'>在数据</b>中心现代化中的<b class='flag-5'>作用</b>

    静电中和设备在半导体自动化生产中起到了怎样作用

    静电中和设备在半导体自动化生产中起到了重要的作用。在半导体生产过程中,由于材料的摩擦、粉尘的飞扬、人员的移动等原因,会产生大量的静电电荷。这些静电电荷如果不得到有效的中和处理,会对生产过程和产品质量
    的头像 发表于 08-30 22:05 316次阅读
    静电中和设备在半导体自动化生产中<b class='flag-5'>起到了</b><b class='flag-5'>怎样</b>的<b class='flag-5'>作用</b>

    数字孪生在数据中心的应用场景

    数字孪生技术如何应用到数据中心的运营发展,又在数据中心的设计与发展阶段起到怎样作用呢?本文将
    的头像 发表于 08-28 15:03 882次阅读
    数字孪生<b class='flag-5'>在数据</b>中心的应用场景

    C++深拷贝和浅拷贝详解

    当类的函数成员存在指针成员时会产生深拷贝和浅拷贝和问题。
    发表于 08-21 15:05 183次阅读
    C++深<b class='flag-5'>拷贝</b>和浅<b class='flag-5'>拷贝</b>详解

    易上手的数据报表工具有哪些?奥威BI编程

    ,同时也将极大地降低试错风险。 由于整个流程都可以通过点击、拖拉拽(导入数据源、报表布局)来完成,因此普遍适用于业务部门,能辅助业务部门通过灵活自主的BI智能数据可视化分析来挖掘数据信息,辅助数字化运营决策,以
    发表于 08-01 15:58

    应急灯在火灾中起到哪些作用?

    应急灯在火灾中起到哪些作用? 火灾无情,那么我们应该如何从火灾中求生呢?相信大家在日常生活中的建筑物随处都可以看到很多消防栓、消防应急灯等消防器材,那么大家知道应急灯在火灾中起到哪些作用
    的头像 发表于 07-28 10:29 1085次阅读