0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

多源零拷贝技术在数据存储中起到了怎样的作用?

浪潮存储 来源:未知 作者:工程师郭婷 2018-08-05 10:50 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在互联网、云计算AI、大数据等新智能应用驱动的新数据时代下,数据存储作为一切其他数据行为的基础,扮演着越来越重要的角色。浪潮软件定义存储AS13000通过模块化定义的方式,基于多源零拷贝技术实现多应用高效共享一套存储系统,提高数据应用效率。

云计算、大数据、AI、物联网等各种新智能应用不断涌现,带来数据需求的改变。文件、对象等数据类型需求增多。一方面,传统的文件系统存储服务正被企业广泛应用;另一方面,有着鲜明的互联网、大数据时代特点对象存储,也越来越受到互联网用户青睐。

每一种存储分别对应不同的访问协议,文件存储主要操作对象是文件和文件夹,例如NFS协议;对象存储协议则主要为S3、Swift。浪潮软件定义存储AS13000的优势即在于,通过模块化定义的方式,实现了在同一存储系统中可以同时支持文件、对象等多种存储协议,让用户通过一套存储系统即可支持企业各种应用访问存储数据,大大节省TCO。

1什么是对象存储?

对象存储是一种新的采用扁平数据的组织形式,并提供基于HTTP协议的RESTful接口访问的分布式存储系统。它适用于一次写入,多次读取的非结构化数据存储的需求场景,例如文档、图像、视频等网络媒体文件。在云计算与大数据时代,对象存储发展迅猛。

不过,目前业界的同类存储产品,每种存储系统只能提供1种或2种存储协议。对于新增对象存储需求的用户,这就要求在多应用环境中必须部署2套或2套以上的存储系统,无疑增加了用户的初始投资,且增大了后期维护和管理的难度。

浪潮软件定义存储AS13000则通过所提供的多源零拷贝技术,实现了在线存储和大数据分析存储的统一融合。企业的各种应用在存取数据时,无需在存储集群间进行数据拷贝,而是通过文件系统方便地访问对象存储的数据,同时还可以高效实现大数据的分析和挖掘。

2对象存储:通过多源零拷贝技术,共享一套存储

多源零拷贝技术,是通过对NFS协议、HDFS文件协议和S3/Swift对象协议多种存储协议的融合,来实现多应用存取数据共享一套存储系统的先进技术。多源零拷贝技术既避免了数据在不同存储之间来回拷贝的问题,又解决了用户投资大、维护和管理难的问题。

多源零拷贝技术示意图

浪潮软件定义存储AS13000之所以可以同时支持NFS、S3/Swift、HDFS(Hadoop分布式文件系统)访问底层对象存储,是因为采用了以下技术:

AS13000基于DOS设计和实现S3/Swift接口。它在S3/Swift接口基础上封装FS适配器,实现了HDFS接口和NFS接口的对接,从而实现大数据应用程序和NFS应用程序对存储系统的访问。

AS13000的对象应用程序通过S3/Swift接口直接调用底层存储系统,从而实现对象应用程序对对象数据的上传与下载。AS13000底层存储是一个高可用、智能化的分布式对象存储系统,支持自修复、自管理等底层数据管理功能,它向上提供UDOS访问函数库,能够支持DOS、DFS和DBS等模块的访问。3提高对象存储数据访问效率

浪潮软件定义存储AS13000提供的多源零拷贝技术,避免了企业不同业务应用数据在多存储系统之间的拷贝,因此可以有效提升数据访问效率,为多场景、多应用的“互联网+”用户带来了优势。

浪潮软件定义存储AS13000在医疗领域慢病跟踪私有云存储场景的应用

目前,浪潮软件定义存储AS13000在各行各业已经有了广泛应用。以医疗领域应用为例,AS13000已经应用于慢病跟踪私有云存储解决方案。系统的数据来源包括病人公有云监测数据、电子病历文件及数据库、PACS影像数据等多种渠道,通过Storming,Spark等流式和批量数据分析和运算,将HBASE开源数据集存储到AS13000中,然后通过慢病档案等应用,对HBASE结果数据进行前端展示,提供辅助治疗决策及建议。

浪潮软件定义存储AS13000存储系统的优势在于,支持原生多种文件/对象协议接口, 通过一套存储集群,适配多种场景多个应用,给医院节省了硬件成本;与此同时,通过数据存储融合,使得Spark、Storm读取多源数据的效率提升,HBASE存储数据效率也得到相应提升,从而提升了整个存储系统的访问效率。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    8003

    浏览量

    143081
  • 互联网
    +关注

    关注

    55

    文章

    11321

    浏览量

    108837
  • 数据存储
    +关注

    关注

    5

    文章

    1014

    浏览量

    52555
  • AI
    AI
    +关注

    关注

    89

    文章

    38090

    浏览量

    296457
  • 大数据
    +关注

    关注

    64

    文章

    9029

    浏览量

    143052

原文标题:多源零拷贝,提升数据应用效率的核心技术

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    边缘计算网关在能源数据采集监控管理系统作用

    边缘计算网关在能源数据采集监控管理系统扮演着核心角色,其作用贯穿能源数据从采集到决策的全生命周期,具体体现在数据采集与整合、实时处理与分析
    的头像 发表于 10-17 11:27 290次阅读

    工业互联网数据台有什么作用

    在工业互联网数据台作为连接数据源与业务应用的桥梁,通过整合异构
    的头像 发表于 10-14 11:07 193次阅读
    工业互联网<b class='flag-5'>中</b>的<b class='flag-5'>数据</b><b class='flag-5'>中</b>台有什么<b class='flag-5'>作用</b>

    PCIe协议分析仪在数据中心中有何作用

    速率,确保关键业务(如实时AI推理)的低延迟。 NUMA架构下的PCIe拓扑优化 场景:CPU服务器,NUMA节点间通过PCIe交换数据,若拓扑不合理会导致跨节点访问延迟高。 作用
    发表于 07-29 15:02

    黑芝麻智能一芯拷贝共享内存技术:破解车载大数据传输效能困局

    通过 拷贝共享内存技术 ,黑芝麻智能解决车载域间大数据传输的延迟与资源消耗问题。核心技术包括
    发表于 06-23 17:53 1659次阅读
    黑芝麻智能一芯<b class='flag-5'>多</b>域<b class='flag-5'>零</b><b class='flag-5'>拷贝</b>共享内存<b class='flag-5'>技术</b>:破解车载大<b class='flag-5'>数据</b>传输效能困局

    27MHz HCSL 差分晶体振荡器在数据中心网络存储系统的应用方案

    集成存储与PCIe控制器的服务器芯片平台 FCO5L02700033HDY00兼容上述芯片,可作为主时钟或CDR参考时钟,用于确保存储数据稳定传输与控制器时钟同步。 五、使用注意事
    发表于 04-14 21:19

    边缘计算在智慧路灯杆系统起到什么作用

    ,边缘计算技术发挥着至关重要的作用,它就像是智慧路灯杆的 “智慧大脑”,让智慧路灯杆真正 “聪明” 起来。 什么是边缘计算 边缘计算起源于传媒领域,它是指在靠近物或数据源头的一侧,采用网络、计算、
    的头像 发表于 04-11 14:58 500次阅读

    使用串口dma环形接收+空闲中断,触发空闲中断后进入任务拷贝数据发现拷贝数据全为0,怎么处理?

    求助,我使用串口dma环形接收+空闲中断,默认应该开了缓存,在触发空闲中断后进入任务拷贝数据发现拷贝数据全为0,但是我挂上调试之后在拷贝
    发表于 03-27 06:17

    嵌入式学习-飞凌嵌入式ElfBoard ELF 1板卡-内核空间与用户空间的数据拷贝数据拷贝介绍

    copy_from_user(void *to, const void __user *from, unsigned long n);参数说明:to:目标缓冲区的指针,用于存储数据;from:缓冲区的指针,
    发表于 03-20 11:50

    飞凌嵌入式ElfBoard ELF 1板卡-内核空间与用户空间的数据拷贝数据拷贝介绍

    , unsigned long n);参数说明:to:目标缓冲区的指针,用于存储数据;from:缓冲区的指针,数据的来源;n:要拷贝的字节
    发表于 03-19 08:55

    电阻在电路作用汇总

    有效地实现数模信号的分离,确保数字信号不受模拟信号的干扰,同时模拟信号也能得到准确的传输。因此,电阻在数模信号分离起到了桥梁和调节的作用。 19RC电路 RC电路是一种由电阻和电容
    发表于 02-07 15:53

    一文看懂!时钟在数据采集系统究竟起到哪些关键作用

    时钟的基本概念 时钟是数据采集系统的关键组件,负责提供同步信号并控制数据采集和转换的时间间隔。时钟信号可以由设备内部生成,也可以通过外部信号提供。时钟的选择会直接影响系统的稳定性、
    的头像 发表于 01-21 13:44 1077次阅读
    一文看懂!时钟<b class='flag-5'>在数据</b>采集系统<b class='flag-5'>中</b>究竟<b class='flag-5'>起到</b>哪些关键<b class='flag-5'>作用</b>?

    字符串在数据存储方式

    数据库是现代信息技术存储和管理数据的核心组件。字符串作为最常见的数据类型之一,
    的头像 发表于 01-07 15:41 1250次阅读

    cmp在数据处理的应用 如何优化cmp性能

    ,然后在多个处理器上并行处理,显著提高了数据处理的速度和吞吐量。 1. CMP在大数据处理的应用 在大数据处理,CMP
    的头像 发表于 12-17 09:27 1754次阅读

    VSS在数据备份作用 VSS技术的优势与劣势

    VSS在数据备份作用 1. 什么是VSS(Volume Shadow Copy Service)? VSS(Volume Shadow Copy Service)是微软Windows操作系统
    的头像 发表于 12-13 16:03 1651次阅读

    高效数据管理工具:PP-B2811硬盘母备份应用

    PP-B2811硬盘母备份技术,为医疗、金融和教育行业提供集中化数据管理解决方案。支持多种存储设备,实现快速备份和
    的头像 发表于 12-11 11:55 754次阅读
    高效<b class='flag-5'>数据</b>管理工具:PP-B2811<b class='flag-5'>多</b>硬盘母<b class='flag-5'>源</b>备份应用