0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储隐藏的五大谎言你都了解吗

电子设计 来源:CloudBest 作者: CloudBest 2021-01-21 16:21 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

要说近几年存储这条街最靓的仔,莫过于分布式存储了。

自诞生以来,分布式存储就被视为存储的未来,被万众期待。然而分布式存储起步于寒门,最早应用于互联网日志、企业备份归档、开发测试等场景,追求极致成本,性能和可靠性却不敢恭维。但它还算争气,凭借多年的打怪练级,越来越多地开始承载自动驾驶研发、超高清编辑、运营商5G网络云等企业的关键业务,走上变成高富帅、赢取白富美的道路。

正所谓人红是非多,存储领域也是一样,坊间一直流传着关于分布式存储的各种流言蜚语。好事的笔者今天就来探寻一番,揭开谎言背后的真相。

谎言一:分布式存储就是软件+服务器

目测分布式存储领域有两个派系,一派是SDS(软件定义存储),一派是软硬一体。前者以vSAN、Ceph为代表,以软件厂商为主在推广。分布式存储软件+通用服务器组合,打着重定义存储市场的旗帜,颇有“有王侯将相宁有种乎”的气势;另一派是存储老牌存储玩家的产品,他们以软硬一体为主,如Isilon、HCP等。

楚河汉界已然形成,未来谁主沉浮?

谁主沉浮很难判断,不过我们不妨从产业动态窥见一斑。虽然用过的客户都诟病分布式存储软件+服务器的方式存在各种兼容性、可靠性、可维护性的问题,但笔者认为SDS这种模式会长期存在,尤其是在传统的低端领域,如备份归档、开发测试环境。而越往高端走,软硬一体越是占据主流。业界主流厂商也在持续推出软硬一体的产品:

国外,DELL&EMC的PowerScale(Isilon)、DDN的EXAScaler等产品;

国内XSKY、浪潮等Ceph系开源厂商也推出了软硬件一体产品如XScaler Express。尤其有趣的是XSKY,这可是国内Ceph系软件定义存储的旗帜啊,你品,你细品。

另一方面,笔者也注意到近些年运营商开展了大规模的分布式存储集采,有文件的有块的。以中国移动2019~2020年分布式块存储集采为例,3个标段中2个为软硬一体采购,占比超过了90%;电信集团2020年集采也放弃了分布式存储纯软件采购,首次全面转向软硬一体。从这个角度看,用户在尝试了多种采购模式之后,也开始逐步转变到软硬一体的道路上来,尤其是大型用户。

真相:分布式存储诞生初期主要是纯软形态,近十年来,随着分布式存储逐步进入企业市场,软硬一体的形成已经成为主流。

谎言二:分布式存储就是低价值存储

如文章开头讲到的,分布式存储早期主要用于互联网日志、企业备份归档、开发测试等场景,这些场景无疑是低价值场景,成本是第一诉求甚至唯一诉求。

然此一时彼一时,士别三日也当刮目相看。

首先是分布式存储产品能力已今非昔比,逐渐具备了承载企业高价值业务的关键能力,例如毫秒级时延、TB/s级带宽、双活/3DC业务级容灾、端到端DIF等,无论是结构化数据还是非结构化数据的承载,功能完备性的最大短板早已补齐。

其次,分布式存储已走入众多高价值关键业务,如运营商BOM业务、金融渠道类业务以及超算、油藏探测HPC等高价值业务,通过大规模应用实践来检验成色。(小道消息,某些高价值场景全闪出货价达到1000美金/TB以上啦)

看完当下还要看看未来,笔者认为未来高价值的非结构化数据场景,分布式存储的版图还会持续扩展。如自动驾驶训练、4K/8K超高清、5G日志留存等场景,对多协议访问、极致带宽、扩展性诉求强烈,分布式存储已然成为这些未来业务的首选架构。

#真相#:分布式存储早期主要用在备份归档等低价值、强成本诉求的场景,如今随着企业级能力的提升,分布式存储也逐步成为企业生产系统的承载平台,尤其是面向海量非结构数据场景,全面支撑文件资源池和HPC等高价值场景。

谎言三:开源架构是分布式存储的未来

笔者对开源从来是持开放、支持的态度,正是因为开源的存在,IT产业才能有今天的缤纷色彩;也正是因为开源,存储这个高大上的产品,才走进了更多的寻常百姓家。

但如果说存储的未来在开源,我不敢苟同。

开源分布式存储软件的出现,一定程度上降低了存储的门槛,小公司可快速包装出存储产品,带动服务器销售。但产品同质化问题是所有开源不得不面临的问题,由于架构限制,很难在不动架构的情况下,真正做出差异化竞争力。互联网类公司、部分科研机构,以及有技术情结和充足资金投入的客户可能选择开源,而对于金融、电信运营商、大企业商用HPC、政府等对可靠性、性能、安全合规有要求的企业,开源从来不是第一选择,因为数据太重要了。(听说,国内某知名银行曾经投入500人基于开源软件搭建分布式存储,投入巨大且无法达银行业务对性能、可靠性、易运维诉求,最终于2年后放弃。)

也有认为开源更自主可控的。笔者认为开源给了用户一定的自主权,但和自主可控是两个概念。据SNYK 2019年开源安全状况报告说明,开源软件漏洞在两年时间内增加了88%,开源风险的解决强依赖于社区版本发布,不能及时规避。同时,近两年国际形势的大变化,给开放著称的开源蒙上了一层阴影。

此外,业界TOP主流分布式存储产品均是闭源架构,如PowerScale(Isilon)、Spectrum Scale、Nutanix、OceanStor Pacific、VSAN、HCP,翻看了一下三个月前发布的IDC市场份额报告,TOP5分布式存储厂商中,基于开源二次开发的厂商份额仅占18%。

真相:开源只是部分厂商的商业选择,分布式存储产业的主流还是非开源,并且开源并不代表更加自主可控。

谎言四:分布式存储可全面取代企业外置存储

这是一个在存储领域争论最大的问题。

正所谓长江后浪推前浪,分布式存储快速增长是不可否认的,这从各大厂商的业绩报告和分析师报告就能看出来,但想要把企业外置存储这个前浪拍死在沙滩上还是步子迈太大,不现实。

企业外置存储在相当长的一段时间内,仍然是主流。它主要面向企业传统应用如ERP/CRM/HIS等,数据量不大但对可靠性、性能有极致要求,如银行Core-Banking,从可靠性、生态层面,分布式存储都不是最佳选择。分布式存储主要面向海量数据、新兴业务场景,如HPC/EDA、大数据,这类场景以二进制文件、视频、图片等非结构化数据为主,数据量极大。所以从场景来看,二者场景是有明确区隔的,按场景并存是最好的选择。

o4YBAGAJOTeAdxBUAADMBmAMJqg503.png

从技术的角度,分布式存储的发力点在大规模的扩展性,基于此逐步优化性能、可靠性,让海量数据存得下、用得起;集中式存储的技术方向在于保持稳定性的基础上,利用更快的介质、更低时延的网络为核心业务提供加速,让业务更稳、效率更高。因此,从技术方向上来看,二者也是各有侧重的。

真相:分布式存储和企业外置存储并非取代关系,二者相辅相成、互为补充。企业外置存储主要面向结构化数据市场,分布式存储主要面对海量非结构化数据市场(高价值分布式文件、分布式对象)。

谎言五:分布式存储就是“云”

IT潮流滚滚向前,每隔几年总是需要有一些新概念。

云和分布式存储一样,这些年正在大行其道、炙手可热。Cloud First、All in Cloud、Cloud Native等概念风靡业界,CIO见面不提云貌似都不好意思打招呼。早期人们也习惯把分布式存储叫做“云存储”,那么分布式存储和云是什么关系?

笔者认为,分布式存储是一种技术架构,而云是一种商业模式。分布式存储可以被用作各种云的数据底座,也可以单独成为数据底座,是配合的关系,而非替换和包含关系。

其实,从与业界公有云厂商的沟通了解到,公有云虽然近年来加强对传统IT市场的转换,但公有云数据增长更多还是来自新兴场景。以美国市场为例,近年来AWS持续快速增长,但PowerScale(Isilon)作为Dell&EMC面向非结构化数据场景的主力产品,并且近60%的销售收入来自于北美市场,依然保持以每年近20%的速度稳步增长。

pIYBAGAJOUiAZV2AAACdHjEo1xk630.png

从场景看,多数海量存储场景,因客户数据安全、生态、招标模式等原因,以线下采购为主,公有云为辅助。以HPC为例,云上HPC给业界提供了一种新的方式,让更多用户能享受到公有云带来的便利性。但实际上HPC主要用于创新研究,对数据安全要求高,上云是有顾虑。参考Hyperion Research报告显示,到2024年云上HPC的收入占比仅17.7%,收入占比很低。

pIYBAGAJOVOAOnqsAAHIwgQCPXM108.png

真相:分布式存储是一个产品,云是一种商业模式是一种服务形式,二者不冲突,长期共存是未来。
编辑:hfy

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 分布式存储
    +关注

    关注

    4

    文章

    182

    浏览量

    20214
  • 开源架构
    +关注

    关注

    0

    文章

    8

    浏览量

    7054
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    2022全新版!Java分布式架构设计与开发实战(完结)

    2022全新版!Java分布式架构设计与开发实战(完结) 分库分表实战:Java海量数据存储架构设计 在现代互联网应用中,随着业务规模的指数级增长,数据库性能瓶颈已成为制约系统发展的关键因素。当单
    发表于 03-30 15:20

    TiDB分布式数据库运维实践

    TiDB 是 PingCAP 开发的开源分布式关系型数据库,兼容 MySQL 5.7 协议,底层存储基于 TiKV(分布式 KV 存储)和 RocksDB。它解决的核心问题是:当单机
    的头像 发表于 03-04 15:44 282次阅读

    解码分布式节点技术:五大核心特质赋能多行业数字化落地

    在信息技术飞速迭代的当下,分布式节点技术凭借其去中心化、资源共享、高效协同的核心优势,已深度渗透到金融、医疗、工业互联网、政务服务等多个关键领域。该技术通过将数据处理、存储及业务逻辑分散至多个独立
    的头像 发表于 01-30 10:43 332次阅读
    解码<b class='flag-5'>分布式</b>节点技术:<b class='flag-5'>五大</b>核心特质赋能多行业数字化落地

    国内分布式AI存储方案商港股IPO!

    解决方案,即AI数据湖存储与AI训推存储解决方案,实现AI存储在企业客户业务运营中的无缝部署及实施,解决企业在AI转型过程中的关键存储需求。   根据灼识咨询的资料,按2024年装机量
    的头像 发表于 01-29 13:44 8867次阅读
    国内<b class='flag-5'>分布式</b>AI<b class='flag-5'>存储</b>方案商港股IPO!

    分布式 IO 选型注意事项

    在工业 4.0 浪潮推动下,分布式 IO 作为工业互联的核心底层设备,已成为制造业实现设备互联、数据采集、柔性生产的关键支撑。本文将助力企业避开选型误区,最大化发挥分布式 IO 的应用价值。​ 产品
    的头像 发表于 12-30 14:14 510次阅读
    <b class='flag-5'>分布式</b> IO 选型注意事项

    如何解决分布式光伏计量难题?

    分布式光伏成增长主力 据《2025-2030年中国分布式光伏行业市场前景预测及未来发展趋势研究报告》显示,2024年中国分布式光伏新增装机118.18GW,同比增长23%,占光伏新增装机总量的43
    的头像 发表于 11-07 14:55 409次阅读
    如何解决<b class='flag-5'>分布式</b>光伏计量难题?

    【节能学院】Acrel-1000DP分布式光伏监控系统在奉贤平高食品 4.4MW 分布式光伏中应用

    摘要:在“双碳”和新型电力系统建设背景下,分布式光伏接入比例不断提高,对配电网电压、调度运行及调峰等环节造成强烈冲击。本文设计包含平台层、设备层二层架构体系的分布式光伏管控平台,以及小容量工商业
    的头像 发表于 08-23 08:04 3655次阅读
    【节能学院】Acrel-1000DP<b class='flag-5'>分布式</b>光伏监控系统在奉贤平高食品 4.4MW <b class='flag-5'>分布式</b>光伏中应用

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 柏峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在通过智能化的监测手段,实现对分布式光伏电站的全方位、高精度、实时化管理。该系统能
    的头像 发表于 08-22 10:51 3464次阅读
    <b class='flag-5'>分布式</b>光伏发电监测系统技术方案

    一键部署无损网络:EasyRoCE助力分布式存储效能革命

    分布式存储的性能瓶颈往往在于网络。如何构建一个高带宽、超低时延、零丢包的无损网络,是释放分布式存储全部潜力、赋能企业关键业务(如实时数据库、AI训练、高性能计算)的关键挑战。
    的头像 发表于 08-04 11:34 1815次阅读
    一键部署无损网络:EasyRoCE助力<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>效能革命

    分布式光伏总出问题?安科瑞分布式光伏监控系统来“救场”

    一、分布式光伏的痛点大揭秘 在 “双碳” 目标的大力推动下,分布式光伏作为绿色能源领域的重要力量,正以前所未有的速度蓬勃发展,越来越多的企业和家庭选择安装分布式光伏系统。然而,随着分布式
    的头像 发表于 07-16 16:50 946次阅读
    <b class='flag-5'>分布式</b>光伏总出问题?安科瑞<b class='flag-5'>分布式</b>光伏监控系统来“救场”

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式存储系统应运而生,而Ceph作为开源分布
    的头像 发表于 07-14 11:15 1207次阅读

    双电机分布式驱动汽车高速稳定性机电耦合控制

    摘要:为了利用所设计的双电机防滑差速驱动系统来提高分布式驱动汽车的动力学性能,在前期同轴耦合驱动控制理论研究的基础上,开展该车的高速稳定性机电耦合控制研究。建立并验证包含所设计驱动系统在内的分布式
    发表于 06-18 16:37

    华为分布式存储荣膺2025年Gartner“客户之选”

    近日,全球权威咨询与分析机构Gartner发布《2025年Gartner Peer Insights文件与对象存储平台“客户之声”》报告,华为OceanStor分布式存储再次登顶,连续第四年获得“客户之选”殊荣,彰显全球客户的认
    的头像 发表于 06-07 09:13 1594次阅读

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中式存储,规模达 198.2 亿元
    的头像 发表于 05-19 16:50 1453次阅读

    分布式光伏电力问题层出不穷?安科瑞分布式光伏运维系统来“救场”

    一、分布式光伏电力运维,痛点大揭秘​ ​ 分布式光伏作为实现绿色能源转型的关键一环,近年来在我国得到了迅猛发展。国家能源局数据显示,截至 2023 年底,中国分布式光伏电站累计并网容量约为 2.5
    的头像 发表于 05-07 17:14 1085次阅读
    <b class='flag-5'>分布式</b>光伏电力问题层出不穷?安科瑞<b class='flag-5'>分布式</b>光伏运维系统来“救场”