0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

非结构化数据时代下对象存储该怎么玩?

SSDFans 来源:ssdfans 作者:ssdfans 2020-12-03 14:13 次阅读

对象,是对象存储的昵称。相对于NAS,我喜欢叫她OBJ,一个基于网络的存储程序。

最早由AWS(Amazon Web Services)的工程师开发了这个后来被称为(Simple Storage Service)的程序,因为三个首字母都是S,所以简称S3。目前,Amazon S3已经成为了事实上的对象存储标准,而这也是一个在线零售商向科技公司转型的印记。

按照贝索斯的理解,作为一个网络服务,对象可以存储和检索任意位置,任意数量的数据,当时贝索斯对S3提出要求是,“其规模要达到无限大,而且没有计划性的停机时间。”

对象的使用场景和分类

商业环境中,很多公司都有大量的电子影像和文件需要存储,例如,银行票据,电子保单和电子合同等。当然更少不了各种手机APP产生的照片、音乐和视频。这些场景以前都是NAS,未来终将归于对象。

从某种程度上讲,在非结构化的存储世界里,对象存储一切,下面就介绍几个对象给你认识。

商用:主要是HDS的HCP、IBM的CleverSafe和NetApp的Grid等

开源:事实上似乎只有Ceph

搞对象的经验和教训

有人的地方就有江湖,有产品地方,除了故事,还有事故。还记得上次NAS文章中提到的那个朋友吗?今天接着讲他跟HDS的小故事。

朋友说,多年前他们公司就建了影像集中存储平台,数据存在NAS上,但是随着业务快速发展,影像文件飞速增加,NAS在存储容量和inode等方面都受到了挑战。也就是说,随着影像文件越来越多,这个痛点越发明显。当然,总是有办法可以维持,但是能维持多久?

长痛不如短痛,为了应对未来更大规模的存储需求,上马对象成了一项必须完成的任务。看Gartner分析报告,跟行业用户技术交流,最终,他们选择了HCP,作为影像平台的新一代存储解决方案。

但是上线没多久,对象存储就遇到了性能不稳的情况,这次不再是245万个垃圾文件,而是8000万个生产影像。

问题很快就定位了,厂商给出的结论是,他家的桶(Bucket,对象存储里的专有名词,用来放具体对象数据)需要文件存储时有相应的目录层次,否则就会造成数据分布不均衡,影响性能。最后,在开发人员的配合下,重新对数据做了迁移,算是彻底消除了这个隐患。

对于非结构化数据的管理,不管使用什么存储,NAS还是OBJ,也不管产品什么样,最安全,最稳妥的方式就是一定要设计好数据存储的目录层次。

你以为故事就这样结束了?当然没有,这只不过是头盘,后面还有主菜,因为篇幅有限,找机会再讲后来发生的故事。

对象的现状与对比分析

对象存储的主要特征,基于S3标准的X86分布式,采用多副本和纠删码存储数据。不过,在本周的华为2019上海全联接大会上,已经有人开始玩ARM了。

目前,传统商业存储厂商都有自己相应的对象存储产品,各家也都有拿的出手的客户案例,而我这次主要想谈谈开源的Ceph。

如果让我给Ceph定位,我就把Ceph跟OBJ划等号。当然无论做云的,还是做存储的都不会认同我的说法,因为他们比我更能跟客户讲故事。

早年间,我朋友就开始接触学习Ceph,做了很多准备工作,但因为某些原因,最后并没有真正落地到具体项目。最近听说他那里又有新需求,打算重新对开源对象存储进行测试,就顺便问了问情况。

目前基于Ceph研发的存储玩家主要是XSKY和杉岩数据,也是他们这次测试的主要目标。

XSKY,不多说了,算是Ceph的布道者。

杉岩数据,一家总部在深圳,专注存储的科技公司,业务发展还不错。朋友说他印象最深的就是,第一次跟杉岩做交流,看了几页PPT,就已经知道杉岩是干嘛的了,完全对标XSKY,商业战略和产品定位很清晰。当然,杉岩的对象产品也提供CDP这种数据保护,算是自己独特的优势。

要说产品功能和售后服务,相对还是传统存储厂商更完善。初创公司都是基于开源Ceph做的研发,版本迭代快,产品功能同质化,我觉得技术差异反而弱化,需要综合评估服务,当然姿态也很重要。

现在对象之后

客户搞开源对象似乎就两种选择,要么自己养一票懂代码人的玩自研,要么就找个专业基于Ceph做研发的公司买产品,前者门槛太高,国内玩得起的没多少,后者似乎像是更现实的做法。

朋友负责的对象存储,上线两年,对象存了5亿多,目前每天增量还有100万左右,这个量级,没个对象,谁受得了。

这个时代,面对新技术、新产品,唯一的选择就是以开放的心态去拥抱他。没对象的,抓紧找个合适的吧。否则,被时代抛弃的时候,连声再见都没有。

原文标题:非结构化数据时代,对象存储该怎么玩?

文章出处:【微信公众号:ssdfans】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3859

    浏览量

    84667
  • NAS
    NAS
    +关注

    关注

    11

    文章

    225

    浏览量

    111865

原文标题:非结构化数据时代,对象存储该怎么玩?

文章出处:【微信号:SSDFans,微信公众号:SSDFans】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    态势数据存储方式有哪些

    智慧华盛恒辉态势数据存储方式主要取决于数据的特性、规模以及访问需求。以下是几种常见的态势数据存储方式: 关系型
    的头像 发表于 04-22 19:28 36次阅读

    什么是结构化网络布线?结构化网络布线有哪些好处?

    在电缆领域,结构化网络布线这个术语经常被提及。人们将其用作流行语,但它的真正含义是什么?结构化布线到底是什么? 为了了解真正的含义,让我们看它的一些相关定义。 根据光纤协会的说法,结构化布线
    的头像 发表于 04-11 11:54 172次阅读

    结构化布线的好处多吗

    结构化布线是网络系统中的重要组成部分,因为它为数据传输提供了强大、可扩展且可靠的基础。通过遵守全球公认的标准,结构化布线可促进高速连接、简化故障排除并确保未来的可扩展性。考虑到这些优势,企业应优先
    的头像 发表于 04-07 11:15 132次阅读

    CFD 设计利器:结构化和非结构化网格的组合使用

    在CFD的发展历史中,结构化网格出现最早,至今仍在使用。结构化网格有几个主要优点,如精度高、生成速度快、单元分布均匀。有些工具擅长绘制这类网格,例如CadenceFidelityAutomesh
    的头像 发表于 12-23 08:12 403次阅读
    CFD 设计利器:<b class='flag-5'>结构化</b>和非<b class='flag-5'>结构化</b>网格的组合使用

    使用关系数据库中的半结构化数据

    NoSQL革命已经进入了关系世界。您可能正在使用关系数据库,但仍必须查询和理解隐藏在文本列、JSON或 XML文档中的半结构化数据
    的头像 发表于 12-20 10:46 272次阅读
    使用关系<b class='flag-5'>数据</b>库中的半<b class='flag-5'>结构化</b><b class='flag-5'>数据</b>

    分布式融合存储解决方案驱动非结构化数据多模计算

    随着5G、AI、大数据等新一代信息技术在千行百业中深度应用,非结构化数据呈来源多样化、维度丰富化、数据量爆炸式增长的特征,数据体量从早期的T
    的头像 发表于 10-30 19:45 380次阅读
    分布式融合<b class='flag-5'>存储</b>解决方案驱动非<b class='flag-5'>结构化</b><b class='flag-5'>数据</b>多模计算

    对与性能比较低的51单片机,结构化编程性能提升多少?

    对与性能比较低的51单片机,结构化编程性能提升多少
    发表于 10-26 06:21

    一种结构化道路环境中的视觉导航系统详解

    平台A TRV 22 上的实验结果表明 , 视觉导航系统能够实时理解结构化道路环境 , 并且能够控制机器人沿着合理路径行驶.
    发表于 09-25 07:23

    再获权威认可!浪潮信息获选Forrester全球对象存储卓越厂商

    信息等国内外主流数据存储厂商进行分析, 浪潮信息凭借对金融、医疗、教科研等重点行业和场景应用的全面布局与技术创新,作为中国唯二专业存储厂商入选优质对象
    的头像 发表于 09-11 16:40 227次阅读

    什么是向量数据库?关系数据库和向量数据库之间的区别是什么?

    向量数据库是一种以向量嵌入(高维向量)方式存储和管理非结构化数据(如文本、图像或音频)的数据库,以便于快速查找和检索类似
    的头像 发表于 08-16 10:13 1301次阅读
    什么是向量<b class='flag-5'>数据</b>库?关系<b class='flag-5'>数据</b>库和向量<b class='flag-5'>数据</b>库之间的区别是什么?

    结构化数据结构化数据(2)#大数据分析

    数据
    学习硬声知识
    发布于 :2023年07月11日 13:57:24

    结构化数据结构化数据(1)#大数据分析

    数据
    学习硬声知识
    发布于 :2023年07月11日 13:56:39

    使用结构化的PLC变量的工作原理

    要创建结构化的 PLC 变量,首先需要定义一个 PLC 数据类型 (UDT)。 并在该数据类型中声明所需的数据元素并指定它们的名称和数据类型
    发表于 07-10 12:47 568次阅读
    使用<b class='flag-5'>结构化</b>的PLC变量的工作原理

    融合互通,浪潮分布式融合存储AS13000加速海量数据处理

    智慧时代数据量激增且非结构化数据的占比逐渐增大,数据类型愈发复杂,处理数据的方式更加多样化,传
    的头像 发表于 06-07 10:57 387次阅读
    融合互通,浪潮分布式融合<b class='flag-5'>存储</b>AS13000加速海量<b class='flag-5'>数据</b>处理

    Python Pandas如何来管理结构化数据

    Python Pandas是一个为Python编程提供数据操作和分析功能的开源工具包。这个库已经成为数据科学家和分析师的必备工具。它提供了一种有效的方法来管理结构化数据(Series
    的头像 发表于 05-25 11:22 460次阅读
    Python Pandas如何来管理<b class='flag-5'>结构化</b><b class='flag-5'>数据</b>