0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

分布式存储仍面临若干技术瓶颈,5G+分布式云加速边缘赋能新基建

牵手一起梦 来源:Ai芯天下 作者:Ai芯天下 2021-01-06 14:50 次阅读

未来,随着新基建的建设逐渐深入,千行百业必然会在数字基础设施层迎来更大的变化,存储作为新基建中的基石,其作用与价值将会得到进一步提升。

存储、计算、传输,是互联网的三大基础,千姿百态的数字世界离不开这“三原色”,而主流存储技术,已经到了需要革新的地步。

新基建对数据处理提出了挑战

①海量:海量数据的不断涌现,到2025年全球新创建的数据将达到175ZB。

②多元:数据从单一内部小数据形态向多元动态大数据发展,数据环境多样、复杂,大量文本、图片、视频等非结构化数据被产生和存储。

③实时:金融风险评估、交通自动驾驶、运营商智能网络等场景,都得依赖快速实时的数据采集、存储和分析得以实现,到2023年实时数据占全球数据圈24.5%的份额。

④上云:未来全球将有超过70%的企业选择多云部署模式,核心数据中心的数据存储容量占比将超过50%。

⑤空间:目前只有不到2%的企业数据被存储下来,其中只有10%被用于数据分析,这说明,我国数据存储利用能力存在很大缺口。

分布式存储仍面临若干技术瓶颈,5G+分布式云加速边缘赋能新基建

分布式存储和分布式系统的提升

简单说,分布式存储就是一种数据存储技术,通过网络使用每台机器上的磁盘空间,并将这些分散的存储资源构成一个虚拟的存储设备,数据分散地存储在网络中的各个角落。

打个比方:假设将数据类比为一个人,存储比作客车,直接存储就是一辆客车运输人;一到春运,客车不够运输了就采用火车和高铁进行运输,火车和高铁一节一节的车厢运输,就是分布式存储。

分布式系统的出现的根由就是是为了用普通的机器完成单个计算机无法完成的计算、存储任务,处理更多的数据。

①容量横向扩展:集群容量的扩展,通过增加存储节点实现,因为网络强大的扩展性,在理论上节点可以扩充到几千个,可以很好的满足海量存储容量需求。

②连接横向扩展:在传统存储应用中,网络接入带宽往往成为瓶颈,主要原因是存储对外接口数量扩展能力有限,而分布式存储则可以很好地解决这个问题,接口数量可以随节点数量的增加,实现接入带宽的行增长。

③性能线性提升:每个节点的性能(IOPS带宽)基本是确定的,整体性能随节点数量的增加线性提升,满足业务规模扩容后对性能的需求。

5G+分布式云加速边缘赋能新基建

我国5G已正式进入规模化商用阶段,边缘侧连接需求较大的业务场景迎来蓬勃发展的新契机。

在此趋势下,边缘赋能需求驱动云计算能力下沉,分布式云成为计算架构演进新趋势。

5G与分布式云融合,正加速边缘赋能新基建,同时催生的海量边缘连接场景,驱动云计算向一种更加全局化的分布式组合模式进阶。

伴随5G大规模商用部署,工业互联网、数字媒体等行业在5G融合方面已逐步开展商业部署,智慧医疗、车联网、智慧城市、数字农业等领域也纷纷在5G应用方面探索实践。

分布式云应运而生,成为新基建重要力量,边缘赋能需求驱动云计算能力下沉,分布式云成为计算架构演进新趋势。

MEC(Multi-access Edge Computing)边缘云较之传统云计算,MEC边缘云强调联接能力与计算能力的结合,包含覆盖资源层、虚拟化层、平台层、应用层的完整架构体系,并强调本地分流、网络能力开放、网络资源管理等特有能力。

有望取代HTTP的IPFS被寄予了厚望

互联网是建立在HTTP协议之上的,HTTP协议让互联网得到了迅速的发展,但是在互联网发展的今天,HTTP逐渐走出了不足,HTTP集中效率低下,而且成本很高。

现行网络所基于的HTTP协议中心化特性所导致的问题正在日益凸显,下载速度慢、数据安全性差、存储成本高、数据留存时间短、带宽有限且昂贵等桎梏显然适应不了即将来临的新时代。

IPFS(分布式文件系统)是一种点对点的超媒体传输协议,基于内容寻址的它相比HTTP下载速度快、数据安全性高、存储成本低廉、数据留存时间长,加入网络中的人越多网络越流畅。

在疫情没有爆发前,据统计IPFS在2019全年公共网络增长了30倍,在有效存储数据方面全球累计获得了300多亿份,目前还在以每两年翻一倍的速度爆发式增长。

这和IPFS目前被成功应用在数据存储、内容分享、文件传输、网络视频、社交网络、去中心化交易、身份服务、区块链应用、金融电商等各个领域的生态息息相关。

5G技术与应用即将井喷式发展的当下,爆发性增长的数据存储需求也是推动存储技术变革的重要推动力。

5G的出现还给IPFS提供了高带宽,使IPFS更加便捷,新基建、5G 与IPFS结合必将会共建存储新时代。

分布式存储仍面临若干技术瓶颈

①目前的分布式存储暂时无法实现数据价值分层,难以实现有效激励,可以考虑将底层构架和应用层策略相结合;

②分布式存储从代码实现到协议层都有很大的优化空间,还会受到网络规模限制,存在 I/O 性能问题;

③存储数据价值较高的用户需要承担更大的服务质量风险,付费意愿较弱,需要应用层解决方案。

④考虑到系统运维成本、服务质量和宏观监管等问题,未来的分布式存储系统需要引入中心化组织形式来弥补运营成本。

结尾:

疫情在一定程度上倒逼了数字经济的发展,在这种情况下,新基建的异军突起也就变得顺理成章了。

这次新冠疫情可以视为一次压测,基于5G、云计算、大数据、AI的新基建带来的存储变革正在释放。

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 运营商
    +关注

    关注

    4

    文章

    2357

    浏览量

    43744
  • 存储
    +关注

    关注

    12

    文章

    3856

    浏览量

    84660
  • 5G
    5G
    +关注

    关注

    1340

    文章

    47807

    浏览量

    554250
  • 自动驾驶
    +关注

    关注

    773

    文章

    13032

    浏览量

    163209
收藏 人收藏

    评论

    相关推荐

    分布式IO工业自动化数据采集与分析的核心

    随着工业自动化技术的不断发展,分布式IO在工业自动化领域的应用越来越广泛。作为一种先进的控制技术分布式IO能够实现设备的分布式控制和监测,
    发表于 12-28 14:47

    鸿蒙原生应用开发——分布式数据对象

    分布式数据对象退出 sessionId 后,该对象将检测不到其他对象的变更。 02、分布式数据对象能力 1、分布式数据对象创建 2、分布式数据对象查询 3、
    发表于 12-08 10:01

    分布式系统硬件资源池原理和接入实践

    把各个设备的硬件外设抽象为外设信息单元,外设信息在各个可信设备之间自动同步,如此,实现了外设信息的全局可见;结合分布式硬件虚拟化技术,实现任意设备之间的硬件外设能力跨设备调用;分布式硬件资源池作为系统
    发表于 12-06 10:02

    #分布式电源 助力庆阳打造“西部数谷”#明德源 #分布式电源DPS

    分布式电源
    jf_64111305
    发布于 :2023年11月17日 17:28:27

    基于ZigBee的分布式井盖监控系统

    随着我国现代经济发展水平的不断提高,城市井盖数目逐渐增加。由于较多井盖被盗,致使路面形成陷阱,危害到过往车辆和行人安全。本文提出了一种基于 ZigBee无线网络的智能安全监控系统,解决分布式布控困难
    发表于 09-18 08:46

    OpenHarmony 分布式硬件关键技术

    设备。因此,操作系统必须提供各设备的管理能力。例如,各硬件状态的更新和同步、硬件冲突的处理、多路并发情况的处理等。多设备间的管理技术,是目前跨端分布式硬件的核心挑战之一。 跨端多
    发表于 08-24 17:25

    过程语言(2)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:52

    过程语言(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 23:00:11

    课程介绍(2)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:59:24

    课程介绍(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:58:59

    #分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:58:32

    聚合函数(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:57:57

    嵌套查询(1)#分布式数据

    分布式数据
    未来加油dz
    发布于 :2023年07月03日 22:49:29

    分布式故障定位装置——FH-900F武汉风河智能科技

    分布式故障定位装置——FH-900F武汉风河智能科技 电力输电线路经常面临各种自然因素导致的跳闸事故,而这些事故不仅损害设施,更重要的是给电力系统带来了安全隐患。解决这一问题,快速准确的定位故障点
    发表于 06-06 13:59

    如何使用Jmeter进行分布式测试;检索日志?

    使用 Jmeter 进行分布式测试;检索日志
    发表于 05-10 13:00