0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据技术概念解析

我快闭嘴 来源: 山西区块链技术中心 作者:山西区块链技术中 2020-10-20 11:48 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

大数据技术当中,在海量数据的存储环节,涉及到两个重要的概念,就是分布式数据存储与数据库,稳定高效安全的数据存储,才能为后续的计算分析环节,提供稳固的支持。今天的大数据概念解析,我们来讲讲分布式存储与数据库。

进入大数据时代,数据特征发生了明显的变化,数据规模大、非结构化/半结构化的数据多,使得大数据存储本身也需要克服很多的问题。要实现大规模数据的计算分析加工等问题,对于企业而言,需要通过各种手段来解决相关的问题,比如说通过优化存储基础设施,或者搭建高性能的大数据存储框架等等。海量数据的存储任务,针对于不同的应用场景,往往需要因地制宜地选择存储方案,因此有了对象存储、块存储、文件系统存储等。

分布式文件/对象存储系统

分布式存储系统面向海量数据的存储访问与共享需求,提供基于多存储节点的高性能,高可靠和可伸缩性的数据存储和访问能力,实现分布式存储节点上多用户的访问共享。目前业界比较流行的分布式存储系统包括:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS等。

分布式关系型数据库

关系型数据库是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。目前业界比较流行的分布式关系型数据库包括:DRDS、TiDB、GreenPlum、Cobar、Aurora、Mycat等。

分析型数据库

分析数据库是面向分析应用的数据库,与传统的数据库不同,它可以对数据进行在线统计、数据在线分析、随即查询等发掘信息数据价值的工作。目前业界比较流行的分析型数据库包括:Kylin、AnalyticDB、Druid、Clickhouse、Vertica、MonetDB、InfiniDB、LucidDB等。

图数据库

图数据库的基本含义是以“图”这种数据结构存储和查询数据,而不是存储图片的数据库。目前业界比较流行的图数据库包括:Titan、Neo4J、ArangoDB、OrientDB、MapGraph、ALLEGROGRAPH等。

列存储数据库

列式数据库是以列相关存储架构进行数据存储的数据库,主要适合于批量数据处理和即时查询。目前业界比较流行的列存储数据库包括:Phoenix、Cassandra、Hbase、Kudu、Hypertable等。

文档数据库

文档型数据库是NoSQL中非常重要的一个分支,它主要用来存储、索引并管理面向文档的数据或者类似的半结构化数据。目前业界比较流行的文档型数据库包括:MongoDb、CouchDB、OrientDB、MarkLogic等。

键值存储数据库

键值存储(Key-Value)是NoSQL中,数据模型中比较简单的一个了,主要就是用哈希表,通过对于键(Key)的查找来找到特定的数据。目前业界比较流行的键值存储数据库包括:Redis、Memcached、Tair等。关于大数据概念解析,分布式存储与数据库,以上就为大家做了一个简单的介绍了。大数据存储环节,涉及到分布式与数据库,是需要重点去掌握的一部分,对于主流的技术架构也需要有相应程度的掌握。

目前业界比较流行的键值存储数据库包括:Redis、Memcached、Tair等。

关于大数据概念解析,分布式存储与数据库,以上就为大家做了一个简单的介绍了。大数据存储环节,涉及到分布式与数据库,是需要重点去掌握的一部分,对于主流的技术架构也需要有相应程度的掌握。
责任编辑:tzh

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    13

    文章

    4897

    浏览量

    90295
  • 大数据
    +关注

    关注

    64

    文章

    9099

    浏览量

    144070
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    AI 与大数据驱动的半导体制造时代:面向分析就绪的 FDC 技术

    大数据分析与人工智能已成半导体制造核心技术,行业核心挑战并非数据采集,而是获取可被大规模使用、分析并快速响应的就绪型数据。普迪飞JonHolt在2025年用户大会提出:“如何应对
    的头像 发表于 04-21 16:03 222次阅读
    AI 与<b class='flag-5'>大数据</b>驱动的半导体制造时代:面向分析就绪的 FDC <b class='flag-5'>技术</b>

    黑M-狂野大数据5期|网盘无密Mp4+大数据直播课-狂野大数据

    科技重构数据生产力:狂野大数据直播实战全解析 随着数字化时代的快速发展,大数据已经渗透到我们生活的方方面面。无论是商业、教育,还是医疗、政府服务,
    的头像 发表于 04-06 11:13 208次阅读

    海光3350便携机主板:大数据处理利器

    随着企业数字化转型加速,大数据处理需求从固定机房向移动场景延伸。无论是金融机构外出调研、科研团队野外数据采集,还是个人创作者处理海量素材,便携设备的性能成为关键。海光便携机主板凭借独特的技术优势,正成为
    的头像 发表于 12-26 11:15 718次阅读

    大数据解决方案如何实施

    大数据解决方案实施的难点在于以下几点:  1.很少有优质可用的数据  在数聚股份看来,这几年数据交易机构如雨后春笋,“数据变现”成为很多拥有数据
    的头像 发表于 12-25 18:22 1151次阅读

    最受欢迎的大数据可视化工具

     在数聚股份看来,大数据可视化是进行各种大数据分析的最重要组成部分之一。 一旦原始数据流被以图像形式表示时,以此做决策就变得容易多了。 为了满足并超越客户的期望,大数据可视化工具应该具
    的头像 发表于 12-24 17:05 387次阅读
    最受欢迎的<b class='flag-5'>大数据</b>可视化工具

    大数据平台运营的基础是什么

    ,值得每一位企业运营者思考。 本文提供大数据平台运营的三元素模型,旨在帮助企业管理层以全面的视角审视企业当前正在建设的大数据体系,真正地实现数据驱动。 1.    大数据平台的
    的头像 发表于 12-23 16:07 356次阅读

    AOI与AXI检测技术全面解析:原理、差异与选型指南

    这两种技术的原理、差异及应用场景,为电子制造企业选择合适的检测方案提供参考。 基本概念技术原理 自动光学检测(AOI)技术 AOI是一种基于光学成像的检测
    的头像 发表于 11-12 10:22 1467次阅读

    湖北大数据集团到访维智科技参观交流

    近日,湖北大数据集团有限公司党委书记、董事长汪小波率队到访维智科技。双方围绕时空数据融合、公共数据授权运营及行业应用场景开发等议题展开深入探讨。
    的头像 发表于 11-03 10:02 781次阅读

    组态大数据平台是什么?有什么功能?

    组态大数据平台是融合 组态技术大数据处理能力 的综合性平台,通过图形化、可配置的方式实现数据采集、存储、分析、可视化及远程控制,适用于工业自动化、能源管理、楼宇监控等领域。其核心
    的头像 发表于 10-30 11:29 327次阅读
    组态<b class='flag-5'>大数据</b>平台是什么?有什么功能?

    竞品数据对比接口技术解析

    与劣势,优化产品策略。本文将逐步解析其设计原理、实现方案和最佳实践,确保内容真实可靠,基于行业通用技术栈(如Python和RESTful架构)。 1. 核心概念与重要性 竞品数据对比接
    的头像 发表于 10-23 16:16 498次阅读
    竞品<b class='flag-5'>数据</b>对比接口<b class='flag-5'>技术</b><b class='flag-5'>解析</b>

    电磁兼容与电磁干扰在电磁兼容性大数据分析中的智能管理系统

    数据,结合大数据分析、流程自动化及云边协同技术,实现电磁环境全生命周期管理。以下从五大维度精简解析: 应用案例 北京华盛恒辉、北京五木恒润研发的 EMC/EMI 智能管理系统已落地应
    的头像 发表于 09-17 14:58 772次阅读

    御控工业物联网大数据解决方案:排水设备远程监控与大数据统计系统

    御控工业物联网推出排水设备远程监控与大数据统计系统,通过物联网、大数据、云计算等技术构建“感知-传输-分析-决策”闭环管理体系,助力排水行业数字化转型。
    的头像 发表于 09-12 10:04 805次阅读

    AIcube1.4目标检测模型导入yolotxt格式数据集后一直显示数据正在解析,为什么?

    AIcube1.4目标检测模型导入yolotxt格式数据集后一直显示数据正在解析 数据有问题,把数据情况说的详细点
    发表于 08-13 07:16

    更改最大数据包大小时无法识别USB设备如何解决?

    将生产者 EP 端点描述符中的最大数据包大小从 1024 字节更改为 512 字节时,无法识别 USB 设备。 请告知如何解决这个问题。
    发表于 05-20 08:13

    英泰斯特与东湖大数据、动力再生签署战略合作协议

    近日,武汉英泰斯特电子技术有限公司(以下简称:英泰斯特)分别与武汉东湖大数据科技股份有限公司(以下简称:东湖大数据)、武汉动力电池再生技术有限公司(以下简称:动力再生)正式签署战略合作
    的头像 发表于 05-08 09:25 1053次阅读