0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

非结构化数据时代下对象存储该怎么玩?

SSDFans 来源:ssdfans 作者:ssdfans 2020-12-03 14:13 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

对象,是对象存储的昵称。相对于NAS,我喜欢叫她OBJ,一个基于网络的存储程序。

最早由AWS(Amazon Web Services)的工程师开发了这个后来被称为(Simple Storage Service)的程序,因为三个首字母都是S,所以简称S3。目前,Amazon S3已经成为了事实上的对象存储标准,而这也是一个在线零售商向科技公司转型的印记。

按照贝索斯的理解,作为一个网络服务,对象可以存储和检索任意位置,任意数量的数据,当时贝索斯对S3提出要求是,“其规模要达到无限大,而且没有计划性的停机时间。”

对象的使用场景和分类

商业环境中,很多公司都有大量的电子影像和文件需要存储,例如,银行票据,电子保单和电子合同等。当然更少不了各种手机APP产生的照片、音乐和视频。这些场景以前都是NAS,未来终将归于对象。

从某种程度上讲,在非结构化的存储世界里,对象存储一切,下面就介绍几个对象给你认识。

商用:主要是HDS的HCP、IBM的CleverSafe和NetApp的Grid等

开源:事实上似乎只有Ceph

搞对象的经验和教训

有人的地方就有江湖,有产品地方,除了故事,还有事故。还记得上次NAS文章中提到的那个朋友吗?今天接着讲他跟HDS的小故事。

朋友说,多年前他们公司就建了影像集中存储平台,数据存在NAS上,但是随着业务快速发展,影像文件飞速增加,NAS在存储容量和inode等方面都受到了挑战。也就是说,随着影像文件越来越多,这个痛点越发明显。当然,总是有办法可以维持,但是能维持多久?

长痛不如短痛,为了应对未来更大规模的存储需求,上马对象成了一项必须完成的任务。看Gartner分析报告,跟行业用户技术交流,最终,他们选择了HCP,作为影像平台的新一代存储解决方案。

但是上线没多久,对象存储就遇到了性能不稳的情况,这次不再是245万个垃圾文件,而是8000万个生产影像。

问题很快就定位了,厂商给出的结论是,他家的桶(Bucket,对象存储里的专有名词,用来放具体对象数据)需要文件存储时有相应的目录层次,否则就会造成数据分布不均衡,影响性能。最后,在开发人员的配合下,重新对数据做了迁移,算是彻底消除了这个隐患。

对于非结构化数据的管理,不管使用什么存储,NAS还是OBJ,也不管产品什么样,最安全,最稳妥的方式就是一定要设计好数据存储的目录层次。

你以为故事就这样结束了?当然没有,这只不过是头盘,后面还有主菜,因为篇幅有限,找机会再讲后来发生的故事。

对象的现状与对比分析

对象存储的主要特征,基于S3标准的X86分布式,采用多副本和纠删码存储数据。不过,在本周的华为2019上海全联接大会上,已经有人开始玩ARM了。

目前,传统商业存储厂商都有自己相应的对象存储产品,各家也都有拿的出手的客户案例,而我这次主要想谈谈开源的Ceph。

如果让我给Ceph定位,我就把Ceph跟OBJ划等号。当然无论做云的,还是做存储的都不会认同我的说法,因为他们比我更能跟客户讲故事。

早年间,我朋友就开始接触学习Ceph,做了很多准备工作,但因为某些原因,最后并没有真正落地到具体项目。最近听说他那里又有新需求,打算重新对开源对象存储进行测试,就顺便问了问情况。

目前基于Ceph研发的存储玩家主要是XSKY和杉岩数据,也是他们这次测试的主要目标。

XSKY,不多说了,算是Ceph的布道者。

杉岩数据,一家总部在深圳,专注存储的科技公司,业务发展还不错。朋友说他印象最深的就是,第一次跟杉岩做交流,看了几页PPT,就已经知道杉岩是干嘛的了,完全对标XSKY,商业战略和产品定位很清晰。当然,杉岩的对象产品也提供CDP这种数据保护,算是自己独特的优势。

要说产品功能和售后服务,相对还是传统存储厂商更完善。初创公司都是基于开源Ceph做的研发,版本迭代快,产品功能同质化,我觉得技术差异反而弱化,需要综合评估服务,当然姿态也很重要。

现在对象之后

客户搞开源对象似乎就两种选择,要么自己养一票懂代码人的玩自研,要么就找个专业基于Ceph做研发的公司买产品,前者门槛太高,国内玩得起的没多少,后者似乎像是更现实的做法。

朋友负责的对象存储,上线两年,对象存了5亿多,目前每天增量还有100万左右,这个量级,没个对象,谁受得了。

这个时代,面对新技术、新产品,唯一的选择就是以开放的心态去拥抱他。没对象的,抓紧找个合适的吧。否则,被时代抛弃的时候,连声再见都没有。

原文标题:非结构化数据时代,对象存储该怎么玩?

文章出处:【微信公众号:ssdfans】欢迎添加关注!文章转载请注明出处。

责任编辑:haq

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4692

    浏览量

    89554
  • NAS
    NAS
    +关注

    关注

    11

    文章

    316

    浏览量

    114456

原文标题:非结构化数据时代,对象存储该怎么玩?

文章出处:【微信号:SSDFans,微信公众号:SSDFans】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    功率放大器在磁场激励对狭窄结构化液体环境适应性研究的应用

    实验名称: 磁场激励对狭窄结构化液体环境的卓越环境适应性和出色的3D可控性验证 研究方向: 在临床实践中,天然孔口通常为医疗器械提供对各种靶组织的侵入性通路。这些体腔/腔(例如泌尿和消化系统
    的头像 发表于 11-25 10:04 69次阅读
    功率放大器在磁场激励<b class='flag-5'>下</b>对狭窄<b class='flag-5'>非</b><b class='flag-5'>结构化</b>液体环境适应性研究的应用

    结构化布线中使用电缆标签的4个主要优势

    在现代通信和网络基础设施建设中,结构化布线系统扮演着至关重要的角色。它不仅确保了网络的高效传输和稳定运行,还为未来的扩展和维护提供了便利。而在结构化布线中,电缆标签的使用虽看似是一个小小的细节,却能
    的头像 发表于 11-24 10:34 160次阅读

    NetApp助力对象存储现代,提升速度、可扩展性和安全性

    智能数据基础设施公司NetApp® (NASDAQ: NTAP) 今天宣布推出NetApp StorageGRID® 12.0,这是一款可扩展的软件定义对象存储解决方案,专为
    的头像 发表于 09-11 10:41 320次阅读

    Smarsh携手戴尔科技构建现代智能数据中心

    如今,越来越多的企业意识到,不只是合同和邮件,所有日常沟通的结构化数据——语音、视频、聊天记录、会议纪要等,都是潜在的合规风险点。
    的头像 发表于 07-08 15:58 670次阅读

    智能体AI面临结构化数据难题:IBM推出解决方案

    ,同时提供一个开放的混合数据基础架构和企业级的结构化结构化数据管理。 智能体AI面临
    的头像 发表于 07-02 09:40 382次阅读

    DDN携手NVIDIA释放结构化数据的AI价值

    DDN 通过与 NVIDIA AI 数据平台的合作,推出联合解决方案,简化了企业对结构化数据存储、访问和激活方式,助力客户释放生成式 A
    的头像 发表于 06-10 10:31 776次阅读

    数智化时代数据存储“进化论”如何书写?

    。Gartner预测,到2028年,企业软件应用中具备自主性AI的比例将从不到1%升至33%,30%的企业机构会把数据变现或入表纳入数据战略。在此背景,作为数据承载关键设施的
    的头像 发表于 04-16 11:21 489次阅读
    数智化<b class='flag-5'>时代</b>,<b class='flag-5'>数据</b><b class='flag-5'>存储</b>“进化论”<b class='flag-5'>该</b>如何书写?

    从零到一:如何利用结构化数据中台快速部署AI解决方案

    ……这些“非标”数据量大、来源广、结构杂,却恰恰是驱动AI模型的关键燃料。   想要从零到一,快速部署AI解决方案,一个可行路径是——构建结构化
    的头像 发表于 04-14 13:50 597次阅读

    树莓派AI套件:如何将混乱的数据变成有序的魔法

    使用RaspberryPiAI套件进行结构化数据处理——Hailo边缘AI结构化数据处理、R
    的头像 发表于 03-25 09:37 759次阅读
    树莓派AI套件:如何将混乱的<b class='flag-5'>数据</b>变成有序的魔法

    结构化数据中台:企业AI应用安全落地的核心引擎

    在数字转型浪潮中,结构化数据(如文档、图片、音视频等)已成为企业核心资产,其价值挖掘能力直接影响AI应用的效能与安全性。然而,数据分散、
    的头像 发表于 02-27 17:06 838次阅读

    对象存储是什么结构类型?

    对象存储属于结构化数据存储架构,采用扁平命名空间
    的头像 发表于 02-10 11:14 690次阅读

    弹性云服务器通过什么存储数据和文件?

    弹性云服务器通过多种存储方式存储数据和文件,包括云硬盘、对象存储服务、分布式文件系统和数据库服务
    的头像 发表于 01-13 09:50 709次阅读

    IBM Storage - 支持AI应用场景的数据存储软硬件解决方案

    为了解决数据和工作负载在各地分散的现状,需要实现对存储在分布式文件和对象存储系统中的大量结构化
    的头像 发表于 12-30 15:00 859次阅读
    IBM Storage - 支持AI应用场景的<b class='flag-5'>数据</b><b class='flag-5'>存储</b>软硬件解决方案

    戴尔数据湖仓助力企业数字转型

    在数字转型的浪潮,企业正面临着前所未有的数据挑战。从传统的结构化数据到如今的
    的头像 发表于 12-20 09:31 770次阅读

    探讨大模型时代背景数据存储的变革之道

    在当今数字浪潮汹涌澎湃的时代背景,大模型技术犹如一颗璀璨的明星,照亮了科技发展的广阔苍穹,而存储技术的变革,作为这一进程中的坚实基石,正日益成为产业界与学术界共同瞩目的核心焦点。
    的头像 发表于 12-16 14:05 961次阅读