0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

非结构化数据时代下对象存储该怎么玩?

SSDFans 来源:ssdfans 作者:ssdfans 2020-12-03 14:13 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

对象,是对象存储的昵称。相对于NAS,我喜欢叫她OBJ,一个基于网络的存储程序。

最早由AWS(Amazon Web Services)的工程师开发了这个后来被称为(Simple Storage Service)的程序,因为三个首字母都是S,所以简称S3。目前,Amazon S3已经成为了事实上的对象存储标准,而这也是一个在线零售商向科技公司转型的印记。

按照贝索斯的理解,作为一个网络服务,对象可以存储和检索任意位置,任意数量的数据,当时贝索斯对S3提出要求是,“其规模要达到无限大,而且没有计划性的停机时间。”

对象的使用场景和分类

商业环境中,很多公司都有大量的电子影像和文件需要存储,例如,银行票据,电子保单和电子合同等。当然更少不了各种手机APP产生的照片、音乐和视频。这些场景以前都是NAS,未来终将归于对象。

从某种程度上讲,在非结构化的存储世界里,对象存储一切,下面就介绍几个对象给你认识。

商用:主要是HDS的HCP、IBM的CleverSafe和NetApp的Grid等

开源:事实上似乎只有Ceph

搞对象的经验和教训

有人的地方就有江湖,有产品地方,除了故事,还有事故。还记得上次NAS文章中提到的那个朋友吗?今天接着讲他跟HDS的小故事。

朋友说,多年前他们公司就建了影像集中存储平台,数据存在NAS上,但是随着业务快速发展,影像文件飞速增加,NAS在存储容量和inode等方面都受到了挑战。也就是说,随着影像文件越来越多,这个痛点越发明显。当然,总是有办法可以维持,但是能维持多久?

长痛不如短痛,为了应对未来更大规模的存储需求,上马对象成了一项必须完成的任务。看Gartner分析报告,跟行业用户技术交流,最终,他们选择了HCP,作为影像平台的新一代存储解决方案。

但是上线没多久,对象存储就遇到了性能不稳的情况,这次不再是245万个垃圾文件,而是8000万个生产影像。

问题很快就定位了,厂商给出的结论是,他家的桶(Bucket,对象存储里的专有名词,用来放具体对象数据)需要文件存储时有相应的目录层次,否则就会造成数据分布不均衡,影响性能。最后,在开发人员的配合下,重新对数据做了迁移,算是彻底消除了这个隐患。

对于非结构化数据的管理,不管使用什么存储,NAS还是OBJ,也不管产品什么样,最安全,最稳妥的方式就是一定要设计好数据存储的目录层次。

你以为故事就这样结束了?当然没有,这只不过是头盘,后面还有主菜,因为篇幅有限,找机会再讲后来发生的故事。

对象的现状与对比分析

对象存储的主要特征,基于S3标准的X86分布式,采用多副本和纠删码存储数据。不过,在本周的华为2019上海全联接大会上,已经有人开始玩ARM了。

目前,传统商业存储厂商都有自己相应的对象存储产品,各家也都有拿的出手的客户案例,而我这次主要想谈谈开源的Ceph。

如果让我给Ceph定位,我就把Ceph跟OBJ划等号。当然无论做云的,还是做存储的都不会认同我的说法,因为他们比我更能跟客户讲故事。

早年间,我朋友就开始接触学习Ceph,做了很多准备工作,但因为某些原因,最后并没有真正落地到具体项目。最近听说他那里又有新需求,打算重新对开源对象存储进行测试,就顺便问了问情况。

目前基于Ceph研发的存储玩家主要是XSKY和杉岩数据,也是他们这次测试的主要目标。

XSKY,不多说了,算是Ceph的布道者。

杉岩数据,一家总部在深圳,专注存储的科技公司,业务发展还不错。朋友说他印象最深的就是,第一次跟杉岩做交流,看了几页PPT,就已经知道杉岩是干嘛的了,完全对标XSKY,商业战略和产品定位很清晰。当然,杉岩的对象产品也提供CDP这种数据保护,算是自己独特的优势。

要说产品功能和售后服务,相对还是传统存储厂商更完善。初创公司都是基于开源Ceph做的研发,版本迭代快,产品功能同质化,我觉得技术差异反而弱化,需要综合评估服务,当然姿态也很重要。

现在对象之后

客户搞开源对象似乎就两种选择,要么自己养一票懂代码人的玩自研,要么就找个专业基于Ceph做研发的公司买产品,前者门槛太高,国内玩得起的没多少,后者似乎像是更现实的做法。

朋友负责的对象存储,上线两年,对象存了5亿多,目前每天增量还有100万左右,这个量级,没个对象,谁受得了。

这个时代,面对新技术、新产品,唯一的选择就是以开放的心态去拥抱他。没对象的,抓紧找个合适的吧。否则,被时代抛弃的时候,连声再见都没有。

原文标题:非结构化数据时代,对象存储该怎么玩?

文章出处:【微信公众号:ssdfans】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4894

    浏览量

    90292
  • NAS
    NAS
    +关注

    关注

    11

    文章

    325

    浏览量

    115165

原文标题:非结构化数据时代,对象存储该怎么玩?

文章出处:【微信号:SSDFans,微信公众号:SSDFans】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    NVIDIA cuDF和cuVS获全球领先数据平台采用

    企业每年产生数百 ZB (Zettabyte) 的数据,并在争相将这些信息转化为洞察。NVIDIA cuDF 和 cuVS 作为基于 NVIDIA CUDA-X 构建的加速数据库,正在被各行业的数据平台所应用,带来至高 5 倍性
    的头像 发表于 03-19 15:46 461次阅读

    高保真仿真地图生成:UE+Blender协同编辑在aiSim中的实现路径!

    引言在前两篇文章中,我们系统阐述了结构化道路场景的构建路径。第一篇《如何高效构建与测试结构化道路场景?》从宏观层面剖析了
    的头像 发表于 03-13 17:32 1264次阅读
    高保真仿真地图生成:UE+Blender协同编辑在aiSim中的实现路径!

    物联网数据中台的功能应用有哪些

    源,包括数据库、文件系统、云存储、物联网设备、社交媒体等,将分散在不同系统中的结构化、半结构化结构化
    的头像 发表于 02-26 14:35 220次阅读

    技术分享|道路数据编辑与格式适配解析

    1引言我们此前发布的《如何高效构建与测试结构化道路场景?》一文,已系统阐述了结构化道路仿真的必要性、当前面临的技术难点及其解决方案。而在智能驾驶仿真测试的场景构建中,无论是
    的头像 发表于 02-13 16:01 206次阅读
    技术分享|道路<b class='flag-5'>数据</b>编辑与格式适配解析

    锂离子电池高性能负极结构化复合集流体综述

    结构化集流体通过精心的表面与体相结构设计,为上述问题提供了系统性解决方案。Flexfilm探针式台阶仪可以实现表面微观特征的精准表征与关键参数的定量测量,精确测
    的头像 发表于 02-04 18:03 2277次阅读
    锂离子电池高性能负极<b class='flag-5'>结构化</b>复合集流体综述

    数字的基础是什么

    、用户交互等渠道持续收集结构化(如数据库记录)和结构化数据(如文本、图像、视频)。 数据
    的头像 发表于 02-04 17:53 1294次阅读

    如何高效构建与测试结构化道路场景?

    高保真虚拟数据集开源发布,兼容nuScenes,开箱即用!01引言随着智能驾驶仿真测试等技术的快速发展,行业评估体系已从单一的“测试里程数”向更全面的“场景覆盖度”及“边缘场景”检验演进。在此趋势,实车测试向仿真环境迁移已成为提升验证效率与安全的必然选择。统计
    的头像 发表于 01-04 17:33 730次阅读
    如何高效构建与测试<b class='flag-5'>非</b><b class='flag-5'>结构化</b>道路场景?

    功率放大器在磁场激励对狭窄结构化液体环境适应性研究的应用

    实验名称: 磁场激励对狭窄结构化液体环境的卓越环境适应性和出色的3D可控性验证 研究方向: 在临床实践中,天然孔口通常为医疗器械提供对各种靶组织的侵入性通路。这些体腔/腔(例如泌尿和消化系统
    的头像 发表于 11-25 10:04 379次阅读
    功率放大器在磁场激励<b class='flag-5'>下</b>对狭窄<b class='flag-5'>非</b><b class='flag-5'>结构化</b>液体环境适应性研究的应用

    结构化布线中使用电缆标签的4个主要优势

    在现代通信和网络基础设施建设中,结构化布线系统扮演着至关重要的角色。它不仅确保了网络的高效传输和稳定运行,还为未来的扩展和维护提供了便利。而在结构化布线中,电缆标签的使用虽看似是一个小小的细节,却能
    的头像 发表于 11-24 10:34 423次阅读

    戴尔PowerScale和ObjectScale的选型要点

    今年戴尔科技的存储圈可谓亮点不断,前有ObjectScale推出重磅升级4.0版本,在混合云、结构化数据管理与弹性部署方面拓展了更多可能性。
    的头像 发表于 09-23 16:32 1035次阅读

    NetApp助力对象存储现代,提升速度、可扩展性和安全性

    智能数据基础设施公司NetApp® (NASDAQ: NTAP) 今天宣布推出NetApp StorageGRID® 12.0,这是一款可扩展的软件定义对象存储解决方案,专为
    的头像 发表于 09-11 10:41 673次阅读

    Smarsh携手戴尔科技构建现代智能数据中心

    如今,越来越多的企业意识到,不只是合同和邮件,所有日常沟通的结构化数据——语音、视频、聊天记录、会议纪要等,都是潜在的合规风险点。
    的头像 发表于 07-08 15:58 971次阅读

    智能体AI面临结构化数据难题:IBM推出解决方案

    ,同时提供一个开放的混合数据基础架构和企业级的结构化结构化数据管理。 智能体AI面临
    的头像 发表于 07-02 09:40 678次阅读

    DDN携手NVIDIA释放结构化数据的AI价值

    DDN 通过与 NVIDIA AI 数据平台的合作,推出联合解决方案,简化了企业对结构化数据存储、访问和激活方式,助力客户释放生成式 A
    的头像 发表于 06-10 10:31 1072次阅读

    SQLSERVER数据库是什么

    SQL Server 是由微软公司开发的一款 关系型数据库管理系统(RDBMS) ,用于存储、管理和检索结构化数据。它是企业级应用中广泛使用的数据
    的头像 发表于 05-26 09:19 1304次阅读