0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

多源零拷贝技术在数据存储中起到了怎样的作用?

浪潮存储 来源:未知 作者:工程师郭婷 2018-08-05 10:50 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在互联网、云计算AI、大数据等新智能应用驱动的新数据时代下,数据存储作为一切其他数据行为的基础,扮演着越来越重要的角色。浪潮软件定义存储AS13000通过模块化定义的方式,基于多源零拷贝技术实现多应用高效共享一套存储系统,提高数据应用效率。

云计算、大数据、AI、物联网等各种新智能应用不断涌现,带来数据需求的改变。文件、对象等数据类型需求增多。一方面,传统的文件系统存储服务正被企业广泛应用;另一方面,有着鲜明的互联网、大数据时代特点对象存储,也越来越受到互联网用户青睐。

每一种存储分别对应不同的访问协议,文件存储主要操作对象是文件和文件夹,例如NFS协议;对象存储协议则主要为S3、Swift。浪潮软件定义存储AS13000的优势即在于,通过模块化定义的方式,实现了在同一存储系统中可以同时支持文件、对象等多种存储协议,让用户通过一套存储系统即可支持企业各种应用访问存储数据,大大节省TCO。

1什么是对象存储?

对象存储是一种新的采用扁平数据的组织形式,并提供基于HTTP协议的RESTful接口访问的分布式存储系统。它适用于一次写入,多次读取的非结构化数据存储的需求场景,例如文档、图像、视频等网络媒体文件。在云计算与大数据时代,对象存储发展迅猛。

不过,目前业界的同类存储产品,每种存储系统只能提供1种或2种存储协议。对于新增对象存储需求的用户,这就要求在多应用环境中必须部署2套或2套以上的存储系统,无疑增加了用户的初始投资,且增大了后期维护和管理的难度。

浪潮软件定义存储AS13000则通过所提供的多源零拷贝技术,实现了在线存储和大数据分析存储的统一融合。企业的各种应用在存取数据时,无需在存储集群间进行数据拷贝,而是通过文件系统方便地访问对象存储的数据,同时还可以高效实现大数据的分析和挖掘。

2对象存储:通过多源零拷贝技术,共享一套存储

多源零拷贝技术,是通过对NFS协议、HDFS文件协议和S3/Swift对象协议多种存储协议的融合,来实现多应用存取数据共享一套存储系统的先进技术。多源零拷贝技术既避免了数据在不同存储之间来回拷贝的问题,又解决了用户投资大、维护和管理难的问题。

多源零拷贝技术示意图

浪潮软件定义存储AS13000之所以可以同时支持NFS、S3/Swift、HDFS(Hadoop分布式文件系统)访问底层对象存储,是因为采用了以下技术:

AS13000基于DOS设计和实现S3/Swift接口。它在S3/Swift接口基础上封装FS适配器,实现了HDFS接口和NFS接口的对接,从而实现大数据应用程序和NFS应用程序对存储系统的访问。

AS13000的对象应用程序通过S3/Swift接口直接调用底层存储系统,从而实现对象应用程序对对象数据的上传与下载。AS13000底层存储是一个高可用、智能化的分布式对象存储系统,支持自修复、自管理等底层数据管理功能,它向上提供UDOS访问函数库,能够支持DOS、DFS和DBS等模块的访问。3提高对象存储数据访问效率

浪潮软件定义存储AS13000提供的多源零拷贝技术,避免了企业不同业务应用数据在多存储系统之间的拷贝,因此可以有效提升数据访问效率,为多场景、多应用的“互联网+”用户带来了优势。

浪潮软件定义存储AS13000在医疗领域慢病跟踪私有云存储场景的应用

目前,浪潮软件定义存储AS13000在各行各业已经有了广泛应用。以医疗领域应用为例,AS13000已经应用于慢病跟踪私有云存储解决方案。系统的数据来源包括病人公有云监测数据、电子病历文件及数据库、PACS影像数据等多种渠道,通过Storming,Spark等流式和批量数据分析和运算,将HBASE开源数据集存储到AS13000中,然后通过慢病档案等应用,对HBASE结果数据进行前端展示,提供辅助治疗决策及建议。

浪潮软件定义存储AS13000存储系统的优势在于,支持原生多种文件/对象协议接口, 通过一套存储集群,适配多种场景多个应用,给医院节省了硬件成本;与此同时,通过数据存储融合,使得Spark、Storm读取多源数据的效率提升,HBASE存储数据效率也得到相应提升,从而提升了整个存储系统的访问效率。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 云计算
    +关注

    关注

    39

    文章

    8059

    浏览量

    144983
  • 互联网
    +关注

    关注

    55

    文章

    11357

    浏览量

    110724
  • 数据存储
    +关注

    关注

    5

    文章

    1039

    浏览量

    53039
  • AI
    AI
    +关注

    关注

    91

    文章

    42000

    浏览量

    303087
  • 大数据
    +关注

    关注

    64

    文章

    9114

    浏览量

    144175

原文标题:多源零拷贝,提升数据应用效率的核心技术

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI Ceph 分布式存储教程资料大模型学习资料2026

    PyTorch DataLoader)的 GIL 锁限制,现代 AI 存储往往支持拷贝技术与内存映射,直接将存储空间映射到进程地址空间,
    发表于 05-01 17:35

    卫星同步时钟技术演进:从GPS驯服到冗余的工程实践

    GPS同步时钟技术正朝着高精度、智能化、冗余的方向持续演进。从最初简单的脉冲输出,到如今融合智能驯服算法、纳秒级测量技术冗余判断的复
    的头像 发表于 02-27 12:00 296次阅读
    卫星同步时钟<b class='flag-5'>技术</b>演进:从GPS驯服到<b class='flag-5'>多</b><b class='flag-5'>源</b>冗余的工程实践

    AOC光纤跳线在数据中心的应用与发展趋势

    数据中心作为信息时代的核心基础设施,承担着数据存储、处理和传输等重要任务。随着云计算、大数据、人工智能等技术的快速发展,
    的头像 发表于 02-25 09:57 322次阅读

    碳园区数据融合体系的未来发展方向

    协同深度不足、智能决策能力薄弱、安全与共享失衡等瓶颈。随着AI大模型、数字孪生、区块链等技术的成熟,以及碳标准体系的完善,数据融合体系
    的头像 发表于 02-03 10:08 269次阅读

    西格电力碳园区技术路径实施过程如何保障数据安全

    碳园区“能源-建筑-交通-数字”系统协同的技术体系数据已成为核心生产要素——从光伏电站的实时出力
    的头像 发表于 01-14 10:13 856次阅读
    西格电力<b class='flag-5'>零</b>碳园区<b class='flag-5'>技术</b>路径实施过程<b class='flag-5'>中</b>如何保障<b class='flag-5'>数据</b>安全

    实测2778MB/s,AMP核间通信“快如闪电”,瑞芯微RK3576

    在多核异构SoC处理器,核间数据的传输带宽直接决定了系统整体性能。传统通信方案存在数据拷贝开销大 ”、“ 带宽受限 ”等瓶颈,高效的核间通信一直是开发者面临的挑战。 今天带大家看
    的头像 发表于 12-04 14:14 652次阅读
    实测2778MB/s,AMP核间通信“快如闪电”,瑞芯微RK3576

    武汉芯小容量存储芯片EEPROM产品的特点

    和读取,适用于需要长期保存关键数据的设备。 多种存储容量:武汉芯半导体的EEPROM产品提供多种存储容量选择,从2KB到512KB不等,以满足不同应用的需求。 先进的工艺:采用华虹9
    发表于 11-21 07:10

    半导体安全芯片技术原理

    物理攻击,如通过拆解设备获取存储的敏感信息、篡改硬件电路等。一些部署在户外的物联网设备,如智能电表、交通信号灯等,更容易成为物理攻击的目标。 芯半导体的安全芯片采用了多种先进的安全技术,从硬件层面为物
    发表于 11-13 07:29

    宽频CT在减少谐波偏差起到怎样作用

    与相位信息,避免普通 CT 因 “频率响应窄、幅值衰减、相位偏移” 导致的谐波信号失真,为后续算法分解序分量、计算不平衡度提供准确的原始数据。 一、核心作用 1:覆盖宽频率范围,捕捉高次谐波 普通 CT(如常规 0.5 级)的频率响应范围窄(通常仅 50
    的头像 发表于 11-05 16:31 1507次阅读

    边缘计算网关在能源数据采集监控管理系统作用

    边缘计算网关在能源数据采集监控管理系统扮演着核心角色,其作用贯穿能源数据从采集到决策的全生命周期,具体体现在数据采集与整合、实时处理与分析
    的头像 发表于 10-17 11:27 865次阅读

    工业互联网数据台有什么作用

    在工业互联网数据台作为连接数据源与业务应用的桥梁,通过整合异构
    的头像 发表于 10-14 11:07 543次阅读
    工业互联网<b class='flag-5'>中</b>的<b class='flag-5'>数据</b><b class='flag-5'>中</b>台有什么<b class='flag-5'>作用</b>

    CUBEIDE调试过程,如何将数组仲的数据拷贝到电脑?

    请问,有什么办法可以在CUBEIDE 调试过程,将数组的数据拷贝到电脑上去?
    发表于 09-09 07:20

    PCIe协议分析仪在数据中心中有何作用

    速率,确保关键业务(如实时AI推理)的低延迟。 NUMA架构下的PCIe拓扑优化 场景:CPU服务器,NUMA节点间通过PCIe交换数据,若拓扑不合理会导致跨节点访问延迟高。 作用
    发表于 07-29 15:02

    黑芝麻智能一芯拷贝共享内存技术:破解车载大数据传输效能困局

    通过 拷贝共享内存技术 ,黑芝麻智能解决车载域间大数据传输的延迟与资源消耗问题。核心技术包括
    发表于 06-23 17:53 1783次阅读
    黑芝麻智能一芯<b class='flag-5'>多</b>域<b class='flag-5'>零</b><b class='flag-5'>拷贝</b>共享内存<b class='flag-5'>技术</b>:破解车载大<b class='flag-5'>数据</b>传输效能困局

    探秘高速电主轴在数控机床的关键赋能作用

    在科技飞速发展的今天,制造业正经历着前所未有的变革,数控机床作为现代制造业的核心装备,其性能的优劣直接影响着产品的质量与生产效率。而在数控机床众多关键部件,高速电主轴凭借其独特的技术优势,成为推动
    的头像 发表于 06-20 09:24 1472次阅读
    探秘高速电主轴<b class='flag-5'>在数</b>控机床<b class='flag-5'>中</b>的关键赋能<b class='flag-5'>作用</b>