0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

浪潮分布式存储平台AS13000让企业轻松应对海量数据挑战

浪潮存储 来源:浪潮信息 作者:浪潮信息 2022-08-14 14:16 次阅读

随着经济社会加速数字化转型,大数据、云计算人工智能区块链等新一代信息技术快速兴起,智慧政务、金融科技、智慧交通、远程教育、智慧医疗等应用加速落地,包含各种办公文档、图片、视频音频、设计文档、日志文件、机器数据等的非结构化数据爆发式增长,企业和组织愈发重视海量非结构化数据的管理与应用。如何依靠底层技术让海量非结构化数据的管理和使用更简单?无处不在的元数据给出了答案。

什么是元数据?

元数据是关于数据的数据,人们身边的一切信息和资源都可以用数据来描述,元数据则是从数据资源中抽取用来说明其特征和内容的结构化数据,用于组织、管理、保存、检索信息和资源。虽然人们看不见元数据的存在,但它却无时无刻不伴随左右。人们平时所津津乐道的大数据,也是基于元数据来计算的。

企业和组织用户可以基于元数据对海量非结构化数据进行管理,例如获取后缀名为jpeg的所有图片文件列表、获取文件大小大于10M的文件列表、获取给定日期之前创建的文件列表,在快速获取符合条件的文件之后高效管理对应的数据。而如何更方便快捷地查找到非结构化的文件成为了分布式存储全新的挑战。

原始的数据检索方式较为简单粗暴,难以应对文件多、目录层次深、检索条件复杂等问题。例如Linux中的find查找,对象存储中的前缀检索,都只能遍历所有文件进行筛选。功能上不能满足多样化的检索需求,检索字段有限,检索方式单一;性能上也挑战了底层元数据管理服务的检索能力和检索效率。

浪潮分布式存储基于对元数据检索的研究,在分布式存储平台AS13000上进行技术创新,在对象、文件、大数据三大非结构化存储场景,研发了元数据检索功能。支持对文件名称、路径、类型、大小、自定义元数据、创建时间、修改时间、用户(组)、桶等关键字段进行检索,支持基础检索和逻辑关系自定义等高级检索功能。百亿级文件,亚分钟级检索。

浪潮分布式存储

元数据检索的四大优势

浪潮分布式存储AS13000元数据检索能够同时兼容对象、文件、大数据三大非结构化存储场景,引入Elasticsearch作为元数据检索引擎,支持NFS、CIFS、S3、Swift、HDFS协议。

Elasticsearch是一个可扩展的RESTful风格的分布式数据检索和分析引擎,它能够快速且近实时地存储、检索、分析海量数据,通常用作具有复杂检索应用的底层引擎。传统的分布式存储+Elasticsearch,即为浪潮分布式非结构化存储AS13000元数据检索的核心。

文件的元数据信息会同步至Elasticsearch引擎中,基于此,用户的元数据检索命令通过协议转换,在Elasticsearch中检索出符合要求的文件信息,返回给用户。

比如,浪潮分布式存储具有更全面的协议支撑。浪潮分布式存储AS13000能够同时支持NFS、CIFS、S3、Swift、HDFS协议进行检索;同时支持客户自己的RESTful风格访问程序进行自定义元数据信息检索。

又如,具备更灵活便捷的检索方式。基于上述的结构,浪潮分布式存储AS13000支持了更为丰富的检索手段和快捷的检索速度,对数据存储本身的读写影响更小。支持的检索内容包括两个方面,其一,丰富的检索字段,包括文件名称、路径、类型、大小、创建时间、最后修改时间、用户名、用户组名、桶名,以及用户自定义的元数据信息,都可以作为检索字段。其二,多样的检索逻辑;支持大于、大于等于、小于、小于等于、不等于、等于等算术比较运算符,逻辑支持“并且”“或者”等逻辑运算符。企业可以根据需求在检索界面上进行检索式的组装,且检索结果支持分页展示。

再如,更安全的元数据保护。为了保护用户的元数据信息,避免非法的RESTful请求恶意获取Elasticsearch中的元数据信息,浪潮分布式存储AS13000同时针对Elasticsearch进行了安全限制,针对Elasticsearch提供 数据流加密,同时基于角色进行访问安全校验,保障元数据信息的网络安全。

最后,更便捷的对接方式。浪潮分布式存储AS13000不仅自身能够提供元数据检索服务,同时能够轻松对接客户的Elasticsearch引擎。如果客户原本就有元数据检索引擎,则可以直接部署浪潮分布式存储,对接客户的Elasticsearch,不需要客户更改原本的检索手段,实现无缝切换。

具备元数据检索功能的浪潮分布式非结构化存储AS13000,已经在金融、通信、教科研、医疗等行业规模部署。为企业提供更简单、更丰富、更便捷的元数据检索方式,让企业轻松应对数字经济时代的海量数据挑战。

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3823

    浏览量

    84587
  • 浪潮
    +关注

    关注

    1

    文章

    403

    浏览量

    23542
  • 元数据
    +关注

    关注

    0

    文章

    31

    浏览量

    9087

原文标题:浪潮分布式存储:元数据检索的四大优势

文章出处:【微信号:inspurstorage,微信公众号:浪潮存储】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    分布式运维管理平台助力大型电商系统稳定运行的案例分析

    成为电商企业解决这些问题的重要工具。本文将结合某大型电商企业的实际案例,分析分布式运维管理平台如何助力电商系统稳定运行。 二、案例背景 某大型电商
    的头像 发表于 03-26 16:32 92次阅读

    分布式运维管理平台在云计算环境中的实施案例分析

    引入分布式运维管理平台,以实现对云计算环境的全面管理和优化。 二、平台实施与优势 资源统一调度与管理 分布式运维管理平台能够自动识别、监控和
    的头像 发表于 03-26 16:16 93次阅读

    分布式运维管理平台在跨地域企业中的部署与运维案例

    问题,某跨地域企业决定引入分布式运维管理平台,以提升其运维效率和管理水平。 二、平台部署与优势 统一化管理与监控 分布式运维管理
    的头像 发表于 03-26 16:11 31次阅读

    分布式IO工业自动化数据采集与分析的核心

    工业自动化生产的效率。在传统的工业自动化生产中,设备的控制和监测通常采用集中式控制方式,这种方式存在着设备连接复杂、数据传输速度慢、故障率高和扩展性差等问题。而分布式IO采用分布式控制方式,将设备按照
    发表于 12-28 14:47

    鸿蒙原生应用开发——分布式数据对象

    01、什么是分布式数据对象 在可信组网环境下,多个相互组网认证的设备将各自创建的对象加入同一个 sessionId,使得加入的多个数据对象之间可以同步数据,也就是说,当某一
    发表于 12-08 10:01

    OpenHarmony 分布式硬件关键技术

    的视频会议;在影音娱乐场景下,能够轻松地把手机音视频放到电视和音箱上播放,还可以家里的灯光自动跟随电影和音乐进行变化,实现非常震撼的家庭影院的效果。 期待越来越多的开发者参与OpenHarmony的生态中来,共同研究和探讨分布式
    发表于 08-24 17:25

    浪潮信息澎湃认证:浪潮分布式存储携手博雅云OneSRM SMP存储管理平台完成兼容性认证

    近日, 博雅云OneSRM SMP存储管理平台浪潮分布式存储AS13000系列产品完成并通过
    的头像 发表于 07-12 09:15 357次阅读
    <b class='flag-5'>浪潮</b>信息澎湃认证:<b class='flag-5'>浪潮</b><b class='flag-5'>分布式</b><b class='flag-5'>存储</b>携手博雅云OneSRM SMP<b class='flag-5'>存储</b>管理<b class='flag-5'>平台</b>完成兼容性认证

    澎湃认证:浪潮携手人大金仓KingbaseES V8完成兼容性认证

    日前, 人大金仓KingbaseES V8与浪潮分布式存储AS13000平台完成并通过浪潮信息澎
    的头像 发表于 07-10 17:00 415次阅读
    澎湃认证:<b class='flag-5'>浪潮</b>携手人大金仓KingbaseES V8完成兼容性认证

    分布式存储架构面临的挑战

      从云和互联网的业务场景来看,其存储域主要采用基于服务器部署分布式存储服务的融合方式,它面临如下挑战 : 1.数据保存周期与服务器更新周期
    的头像 发表于 07-05 10:44 862次阅读
    <b class='flag-5'>分布式</b><b class='flag-5'>存储</b>架构面临的<b class='flag-5'>挑战</b>

    过程语言(2)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:52

    过程语言(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:11

    #分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:58:32

    聚合函数(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:57:57

    嵌套查询(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:49:29

    融合互通,浪潮分布式融合存储AS13000加速海量数据处理

    智慧时代,数据量激增且非结构化数据的占比逐渐增大,数据类型愈发复杂,处理数据的方式更加多样化,传统单一存储难以满足市场需求。基于此,
    的头像 发表于 06-07 10:57 368次阅读
    融合互通,<b class='flag-5'>浪潮</b><b class='flag-5'>分布式</b>融合<b class='flag-5'>存储</b><b class='flag-5'>AS13000</b>加速<b class='flag-5'>海量</b><b class='flag-5'>数据</b>处理