0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

柏科数据官方推出"ISCloud分布式云存储",应对PB级数据管理,突破不断

话说科技 2021-05-26 11:40 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

非结构化数据遍布于各行各业,这类数据在医疗、安防监控、政务、金融等行业中尤为明显,他们都有着海量的非结构化数据。同时,非结构化数据正以60%增长趋势逐年递增。毫无疑问,这一增长趋势对企业如何更好的管理好PB级数据提出了严峻挑战。

存储系统中数据的变化:以结构化为主的数据,正在向非结构化数据等混合型数据进行大量的转变。据IDC(天风证券,2020)预测,到2025年我国数据将达48.6ZB(18年至25年复合增速超过30%),其中80%为非结构化数据(XML、图像、声音、超媒体等信息)。

存储系统中规模的变化:在大数据、5G云计算等新一代信息技术的催化下,企业需要应对PB级(1PB=1024TB)容量的数据存储需求,延续使用集中存储的方式,在单一存储节点上scale-up。不仅会对存储系统的性能造成影响,同时会受限于物理介质、传输媒介及TCO成本等因素,最终造成容量上的局限性,很显然纵向扩展的形式并不适应于现代化的企业级存储需求。

为了更加适应动态变化的应用场景,出现了中心化Ceph的分布式存储架构,它是由MON、OSD、MDS与RADOS等核心组件构成。与HDFS相比之下,没有通过NameNode元数据寻址的方式,而是通过一种CRUSH算法,通过两次映射计算数据存储位置来确定如何存储和检索数据。CRUSH 使用户端能直接与OSDs进行通信,且并行读写速度更高。

去中心化Ceph存储系统架构,特别是在支持块存储特性上,可以使数据具有较强的一致性,Ceph可使用任何一个运行在该存储节点上的OSD获取数据信息,相对于Swift及HDFS来说更加灵活。以Ceph分布式存储架构为代表的柏科数据ISCloud分布式存储系统,一方面通过CRUSH算法实现了存储单元间的数据重新分布及智能交互。另一方面scale-out的扩张形式,突破了规模化扩张造成的性能瓶颈。

2105261011011690868904.png

在安防监控的应用场景下,数据存储经历了几个阶段,逐步从DVR存储过渡到网络前端加网络存储阶段。随着网络带宽的提高,高清应用的普及,对安防存储系统的容量和数据安全提出了更高的要求。柏科数据ISCloud分布式存储系统在面对监控业务海量非结构化数据存储方面,相比于传统安防类存储具有天然的优势,也便于与其他调用平台结合,将为视频监控行业带来存储架构和安全性上全面的升级变更。

2105261011021091564906.png

实现性能提升&保障业务连续性:

⦁ 将业务系统迁移至ISCloud分布式存储系统,解决了存储节点单点故障的问题,使其业务不中断;

⦁ 提升节点间访问能力,以保证数据的写入读取和各节点之间数据交互的稳定性及一致性。

实现多重数据保护:

⦁ 结合ISCloud分布式存储系统应用层数据保护策略(副本冗余技术或纠删技术等),采取纠删N+2的数据保护方式,对数据进行冗余保护措施;



声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    剖析AI对分布式KVM系统的革新意义

    在数字化浪潮席卷全球的当下,分布式KVM坐席管理系统作为指挥中心、监控中心、数据中心等关键场景的核心基础设施,正经历着从"功能实现&quo
    的头像 发表于 11-11 11:28 624次阅读

    降本、提效、标准化!中服工业物联网平台集团版重塑工业管理逻辑

    协同管理架构   穿透数据治理 构建“集团-业务单元-工厂-产线-设备”五级数据穿透体系,通过分布式
    的头像 发表于 09-04 11:16 295次阅读

    分布式光伏发电监测系统技术方案

    分布式光伏发电监测系统技术方案 峰【BF-GFQX】一、系统目标 :分布式光伏发电监测系统旨在通过智能化的监测手段,实现对分布式光伏电站的全方位、高精度、实时化
    的头像 发表于 08-22 10:51 2884次阅读
    <b class='flag-5'>分布式</b>光伏发电监测系统技术方案

    Ceph分布式存储系统解析

    在当今数据爆炸的时代,企业对存储系统的需求日益增长,传统的集中式存储已经无法满足大规模数据处理的要求。分布式
    的头像 发表于 07-14 11:15 713次阅读

    工业数采很多数据你可能用不上,不同系统要的&quot;数据菜&quot;要对号入座

    工业数采的本质,是给不同的系统&quot;投喂&quot;它们能消化的数据。就像请客吃饭,MES要的是&quot;快餐&quot;(快节奏
    的头像 发表于 06-11 11:29 623次阅读

    HarmonyOS5服务技术分享--数据库使用指南

    接触HarmonyOS开发,还是想优化现有的数据管理逻辑,这篇指南都会手把手带你玩转数据的增删改查,还有那些超实用的高级查询功能! ? ​​核心功能与使用场景​​ 华为数据库(Clo
    发表于 05-22 18:29

    曙光存储领跑中国分布式存储市场

    近日,赛迪顾问发布《中国分布式存储市场研究报告(2025)》,指出2024 年中国分布式存储市场首次超过集中式存储,规模达 198.2 亿元
    的头像 发表于 05-19 16:50 1011次阅读

    兆芯+图创智—可信分布式存储系统解决方案

    创智分布式存储系统采用全分布式设计与先进的存储虚拟化技术相结合,由多个独立的兆芯 x86 服务器作为
    的头像 发表于 04-23 10:29 650次阅读
    兆芯+图<b class='flag-5'>云</b>创智—可信<b class='flag-5'>分布式</b><b class='flag-5'>存储</b>系统解决方案

    分布式存储数据恢复—虚拟机上hbase和hive数据数据恢复案例

    分布式存储数据恢复环境: 16台某品牌R730xd服务器节点,每台服务器节点上有数台虚拟机。 虚拟机上部署Hbase和Hive数据库。
    的头像 发表于 04-17 11:05 514次阅读

    分布式存储有哪几种类型?

    分布式存储有哪几种类型?分布式存储系统是一种将数据分散存储在多台独立节点上的技术,根据
    的头像 发表于 02-20 11:00 1125次阅读

    分布式数据库有哪些类型

    分布式数据库有哪些类型?分布式数据库主要类型包括:关系型
    的头像 发表于 01-15 09:43 871次阅读

    弹性服务器通过什么存储数据和文件?

    弹性服务器通过多种存储方式存储数据和文件,包括硬盘、对象存储服务、
    的头像 发表于 01-13 09:50 710次阅读

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据文件资产迁移

    提供了async版本供该场景使用。 当前,wantParams中“sessionId”字段在迁移流程中被系统占用,建议开发者在wantParams中定义其他key值存储分布式数据对象生成的id,避免
    发表于 12-24 10:11

    HarmonyOS Next 应用元服务开发-分布式数据对象迁移数据权限与基础数据

    提供了async版本供该场景使用。 当前,wantParams中“sessionId”字段在迁移流程中被系统占用,建议开发者在wantParams中定义其他key值存储分布式数据对象生成的id,避免
    发表于 12-24 09:40

    分布式光伏运维平台助力光伏电站运营

    分布式光伏运维平台能够实现对光伏电站的实时监测、数据分析、故障诊断和运维管理等功能,提高发电效率、降低运维成本并延长电站使用寿命。随着技术的不断
    的头像 发表于 12-09 16:22 1284次阅读
    <b class='flag-5'>分布式</b>光伏运维<b class='flag-5'>云</b>平台助力光伏电站运营