0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据技术概念解析

我快闭嘴 来源: 山西区块链技术中心 作者:山西区块链技术中 2020-10-20 11:48 次阅读

大数据技术当中,在海量数据的存储环节,涉及到两个重要的概念,就是分布式数据存储与数据库,稳定高效安全的数据存储,才能为后续的计算分析环节,提供稳固的支持。今天的大数据概念解析,我们来讲讲分布式存储与数据库。

进入大数据时代,数据特征发生了明显的变化,数据规模大、非结构化/半结构化的数据多,使得大数据存储本身也需要克服很多的问题。要实现大规模数据的计算分析加工等问题,对于企业而言,需要通过各种手段来解决相关的问题,比如说通过优化存储基础设施,或者搭建高性能的大数据存储框架等等。海量数据的存储任务,针对于不同的应用场景,往往需要因地制宜地选择存储方案,因此有了对象存储、块存储、文件系统存储等。

分布式文件/对象存储系统

分布式存储系统面向海量数据的存储访问与共享需求,提供基于多存储节点的高性能,高可靠和可伸缩性的数据存储和访问能力,实现分布式存储节点上多用户的访问共享。目前业界比较流行的分布式存储系统包括:HDFS、OpenStack Swift、Ceph、GlusterFS、Lustre、AFS、OSS等。

分布式关系型数据库

关系型数据库是建立在关系模型基础上的数据库,借助于集合代数等数学概念和方法来处理数据库中的数据。目前业界比较流行的分布式关系型数据库包括:DRDS、TiDB、GreenPlum、Cobar、Aurora、Mycat等。

分析型数据库

分析数据库是面向分析应用的数据库,与传统的数据库不同,它可以对数据进行在线统计、数据在线分析、随即查询等发掘信息数据价值的工作。目前业界比较流行的分析型数据库包括:Kylin、AnalyticDB、Druid、Clickhouse、Vertica、MonetDB、InfiniDB、LucidDB等。

图数据库

图数据库的基本含义是以“图”这种数据结构存储和查询数据,而不是存储图片的数据库。目前业界比较流行的图数据库包括:Titan、Neo4J、ArangoDB、OrientDB、MapGraph、ALLEGROGRAPH等。

列存储数据库

列式数据库是以列相关存储架构进行数据存储的数据库,主要适合于批量数据处理和即时查询。目前业界比较流行的列存储数据库包括:Phoenix、Cassandra、Hbase、Kudu、Hypertable等。

文档数据库

文档型数据库是NoSQL中非常重要的一个分支,它主要用来存储、索引并管理面向文档的数据或者类似的半结构化数据。目前业界比较流行的文档型数据库包括:MongoDb、CouchDB、OrientDB、MarkLogic等。

键值存储数据库

键值存储(Key-Value)是NoSQL中,数据模型中比较简单的一个了,主要就是用哈希表,通过对于键(Key)的查找来找到特定的数据。目前业界比较流行的键值存储数据库包括:Redis、Memcached、Tair等。关于大数据概念解析,分布式存储与数据库,以上就为大家做了一个简单的介绍了。大数据存储环节,涉及到分布式与数据库,是需要重点去掌握的一部分,对于主流的技术架构也需要有相应程度的掌握。

目前业界比较流行的键值存储数据库包括:Redis、Memcached、Tair等。

关于大数据概念解析,分布式存储与数据库,以上就为大家做了一个简单的介绍了。大数据存储环节,涉及到分布式与数据库,是需要重点去掌握的一部分,对于主流的技术架构也需要有相应程度的掌握。
责任编辑:tzh

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 存储
    +关注

    关注

    12

    文章

    3854

    浏览量

    84652
  • 大数据
    +关注

    关注

    64

    文章

    8643

    浏览量

    136585
收藏 人收藏

    评论

    相关推荐

    大数据技术是干嘛的 大数据核心技术有哪些

    大数据技术是指用来处理和存储海量、多类型、高速的数据的一系列技术和工具。现如今,大数据已经渗透到各个行业和领域,对企业决策和业务发展起到了重
    的头像 发表于 01-31 11:07 751次阅读

    大数据技术如何为精益管理赋能?

    随着科技的飞速发展,大数据技术已经逐渐渗透到各个领域,为企业带来了前所未有的变革。在精益管理领域,大数据技术的运用更是为企业管理带来了诸多优势,为企业高效运营注入了新的活力。 一、
    的头像 发表于 12-19 09:58 270次阅读

    数据的基本概念大数据时代的新术语

    大数据平台下,预处理的数据量非常大,而处理后的有效数据量往往比较小,因此,数据的生命周期管理显得非常重要。数据生命周期管理(data li
    的头像 发表于 10-11 11:41 1126次阅读
    <b class='flag-5'>数据</b>的基本<b class='flag-5'>概念</b>!<b class='flag-5'>大数据</b>时代的新术语

    工业互联网中的标识解析技术

    工业互联网的核心是数据的价值发现问题,但由于历史原因,“信息孤岛”现象在企业内部、企业之间大量存在。标识解析技术是目前可见解决“信息孤岛”、完成工业大数据汇聚以及在此基础上形成信息融合
    发表于 09-19 06:07

    大数据是人工智能吗

    大数据是人工智能吗 随着互联网技术数据采集技术的发展,数据量不断增大,大数据应运而生。
    的头像 发表于 08-12 17:12 975次阅读

    大数据概念(2)#大数据分析

    大数据分析
    学习硬声知识
    发布于 :2023年07月13日 00:18:16

    大数据概念(1)#大数据分析

    大数据分析
    学习硬声知识
    发布于 :2023年07月13日 00:17:32

    大数据华而不实么?大数据的本质是什么?

    随着科技的发展和信息技术的迅猛进步,大数据概念逐渐走入人们的视野,成为各行各业的热门话题。然而,一些人对大数据持怀疑态度,认为其只是一种虚幻的概念
    的头像 发表于 07-12 15:58 337次阅读

    大数据基本概念(2)#大数据分析

    大数据
    学习硬声知识
    发布于 :2023年07月11日 14:02:01

    大数据基本概念(1)#大数据分析

    大数据
    学习硬声知识
    发布于 :2023年07月11日 14:01:10

    智慧农业大数据

    智慧农业,作为未来农业的发展方向,其实现基于种植环境、生长管理、农机设备等数据。农业大数据核心在于技术,包括获取技术和处理数据
    的头像 发表于 07-10 16:18 572次阅读

    浅谈大数据分析技术在军事应用

    大数据分析技术的发展历史可追溯至20世纪初。从那时起,大数据在军事领域的应用便逐渐显现。
    的头像 发表于 05-23 12:44 2347次阅读

    大数据的特征及技术关键

    大数据的定义多而杂,不同企业、行业等都从自身角度来定义大数据,意思都差不多,就一句话,大数据由巨型数据集组成,这些数据集规模超出了常用软件在
    的头像 发表于 05-10 15:32 1229次阅读

    大数据的4个关键技术

    Volume 大数据数据量大,数据量单位为T 或者P级 * Variety 数据类型多,大数据包含多种
    的头像 发表于 05-10 15:30 2133次阅读
    <b class='flag-5'>大数据</b>的4个关键<b class='flag-5'>技术</b>

    大数据是什么 大数据存储的概念 大数据应用场景有哪些

    大数据的成功管理取决于几个方面,例如数据的收集、存储、处理、分析和可视化。在大数据的处理过程中,各种技术和算法也被不断地应用于解决各种问题。大数据
    发表于 05-03 09:23 2797次阅读