0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

什么是数据仓库、数据集市、数据湖?

工业互联网前线 来源:一个数据玩家的自我修养 作者:一个数据玩家的自 2020-09-21 10:44 次阅读

来源:一个数据玩家的自我修养 本文已授权

经常看到有人问这个问题,数据玩家也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明。

什么是数据仓库?

大家都去宜家买过东西吧,还记得一楼的大仓库不,你如果看中了某个家具,想要自己去仓库提货,一般都会记下商品上的编码:

这个编码对于顾客来说,肯定是没有任何含义的,看到这个编码,不可能知道他是一个什么商品。

但是这个编码,对于仓库管理员来说是有含义的,他们可以清楚的知道,是哪一个货架,哪一个位置。

当然,顾客到仓库里顺着货架和位置也可以找到商品,但是总归不太直观,挑选的过程还是得在楼上进行。

因此数据仓库就相当于宜家的一楼仓库,在这里,数据(家具)按照特定的模型,如FS-LDM等(货架-位置)组织起来,这种模型,对于顾客(业务人员,数据最终用户)是不友好的,但是对于科技人员(仓库管理员,宜家员工)来说相对友好,因为他按照一种更加集约化的规则将数据(家具)管理起来了,存放集中、规整,提取数据(提货)不用跨库(货仓)寻找,查找的效率更加高。

那什么是数据集市呢?

还是用这个例子,上文提到,数据仓库对业务人员不是很友好,同样,你总不能让顾客直接逛仓库吧?顾客的需求,是按照家具的种类分门别类,按照家庭的不同房间,组合在一起展示的,正如宜家楼上的展厅:

虽然也被吐槽像迷宫一样,但是总的来说,购物体验肯定比逛仓库来得好多了。

所以,数据集市就像宜家楼上的展厅,正如其名字“集市”一样,是一个面向最终用户(顾客)的数据市场,在这里,数据(家具)以一种更加容易被业务人员(顾客)接受的方式组合在一起,这些组合方式可能是多变的,因为业务人员(顾客)的需求是多变的,因此我们需要定期调整集市的计算口径(展厅的陈列方式),经常会创建新的数据集市(装修新的展厅)。

数据仓库和集市的概念理解了,其他一些相关问题也就迎刃而解,比如为什么有了数据仓库还要建数据集市?等等。

那什么是数据湖呢?

数据湖至今仍然没有一个特别标准的概念,各种概念中,比较统一的一点是数据湖存储的是未经加工的原始数据,包含结构化和非结构化的各类数据。数据玩家仍然尝试用上面的例子来解释。

大家都知道,宜家的家具是需要自己组装的,所以宜家的顾客们都有一些动手能力,他们突发奇想,所有的家具能不能全部拆散成零部件存放,由顾客们根据实际需要挑选零部件自行拼装?

所以,数据湖就是一个存储了所有企业内原始数据(家具零部件)的存储,这就带来一系列问题,加工后数据的存储已经非常复杂,原始数据则依赖更多的管理功能,不然数据又多又杂难以管理,数据湖会退化为数据沼泽。此外,原始数据如果缺少统一的数据标准,就像不同的家具零部件之间的接口不同,那就无法组装在一起了。

因此,数据湖必须有完善的数据管理功能,也依赖于统一的数据标准和良好的数据质量管理。

那什么又是数据中台呢?

数据中台也没有一个特别明确的定义,这里很难套用宜家的例子强行解释了,我们来看下各类数据平台:

在我们传统的数据应用中,随着数据对于业务友好度的增加,其时效性也在减弱。而我们的目标,显然是数据又快又好。既然各部门的需求都不一样,为何不让业务自助分析数据呢?于是我们有了右上角的目标状态。但是这个理想状态和我们现在的数据应用中间有巨大的空隙,靠什么来填补?答案就是数据中台。

我们可以将其分为狭义的数据中台和广义的数据中台。狭义的数据中台,指的是一套数据应用和工具,包括分布式ETL、数据资产管理、数据标签管理、数据沙箱、自助分析平台、元数据管理、数据质量管理等等,底层则以现有的数仓、大数据平台等为数据源,为企业提供数据资产管理的能力,并持续挖掘数据价值,持续提供数据智能服务。

广义的数据中台,则在狭义的数据中台基础之上,包含了顶层数据战略,数据治理体系以及数据管理及运营、数据文化培养和组织架构支撑,是一套持续管理和运营的体系。

可以这么说,狭义的数据中台,是专为达成数据中台的使命而打造,一类是让数据更快的处理、整合、加工,比如分布式ETL工具。随着传统数据被大数据平台逐步替代,ETL工具对于大数据平台的适配也需要与时俱进,支持分布式计算、弹性计算,并且减少开发量。

另一类是让数据更好的产生业务价值,比如数据标签管理,自助分析平台等。数据标签大家都在用,但是真正深度使用的企业都会感觉:建好容易用好难,如果没有一套标签管理系统,标签是否重复加工,标签的使用率、准确性等都无从掌控,业务部门想要针对近期营销活动新建一个标签,还得走开发流程,时效性也难以保证。数据标签管理系统就是为了解决数据标签的使用问题而建立。自助分析平台则是方便业务人员自助进行数据分析、加工、探索的平台,它与数据沙箱结合,直接将去隐私化的生产数据提供业务人员分析,使数据更快的产生价值,支撑关键决策。

广义的数据中台,则是辅助狭义数据中台达成使命的机制,虽然看起来都很“虚”,但是却是数据中台成功落地的必要保障。

那所有这些都必须做吗?

这个问题要看具体的企业情况,总的来说,一个大原则是以满足业务发展为第一优先,不要为了做基础设施而做基础设施,一定要以能解决业务诉求为最终目的。

《人月神话》里早就宣告了银弹不存在,自然,数据仓库、数据集市、数据湖、数据中台都不是银弹,千万不能以为做了他们就水到渠成,数字化转型就自动完成了。

简言之,用了一系列时髦的新技术不见得就是数字化领军企业,不用也不见得就是古典互联网时代的落后作坊。关键是认清自身的数字化现状,拟定数字化目标,制定数字化路径,优选场景,实现价值。新技术、各类数据基础设施只是这条道路上,一套套切实可行的行动方案,是把过去银行的种种数字化的尝试,重新以体系化、结构化的方法论梳理,并且赋予当下最新的技术架构予以实施。

原文标题:数据仓库、数据集市、数据湖、数据中台到底有什么区别?

文章出处:【微信公众号:工业IoT】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6512

    浏览量

    87601
  • 数据仓库
    +关注

    关注

    0

    文章

    58

    浏览量

    10399

原文标题:数据仓库、数据集市、数据湖、数据中台到底有什么区别?

文章出处:【微信号:IndustryIOT,微信公众号:工业互联网前线】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    数据中台系统和数据仓库有什么区别?#数据中台 #光点科技

    数据
    光点科技
    发布于 :2023年11月10日 17:46:39

    数据仓库概述及特点

    数据库已经在信息技术领域有了广泛的应用,我们社会生活的各个部门,几乎都有各种各样的数据库保存着与我们的生活息息相关的各种数据。作为数据库的一个分支,
    发表于 08-11 14:33 3162次阅读

    加速Oracle数据仓库 Emulex和博科第6代光纤通道

    电子发烧友网站提供《加速Oracle数据仓库 Emulex和博科第6代光纤通道.pdf》资料免费下载
    发表于 08-03 10:20 0次下载
    加速Oracle<b class='flag-5'>数据仓库</b> Emulex和博科第6代光纤通道

    如何提高数据仓库的性能及优化设计

      随着数据仓库规模的扩大,数据仓库的性能问题就显得越来越突出,如何提高数据仓库的性能,除了在设计阶段对其逻辑结构和物理结构进行优化设计外;还可以在数据仓库运行阶段,采取一些优化措施来
    发表于 07-18 16:10 0次下载

    数据仓库实现(2)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:20:43

    数据仓库实现(1)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:20:17

    数据仓库基本概念(2)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:19:30

    数据仓库基本概念(1)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:18:57

    数据仓库设计(3)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:13:54

    数据仓库设计(2)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:13:09

    数据仓库设计(1)#数据挖掘

    数据
    学习硬声知识
    发布于 :2023年07月06日 16:12:16

    数据湖真的能取代数据仓库吗?【SNP SAP数据转型 】

    数据湖和数据仓库的存在并不冲突,也并不是取代的关系,而是相互的融合关系。 数据湖是近两年中比较新的技术在大数据领域中,对于一个真正的数据湖应
    的头像 发表于 07-03 15:48 337次阅读
    <b class='flag-5'>数据</b>湖真的能取代<b class='flag-5'>数据仓库</b>吗?【SNP SAP<b class='flag-5'>数据</b>转型 】

    数据仓库解决方案的实施过程是什么?#数据仓库 #光点科技

    数据仓库
    光点科技
    发布于 :2023年06月19日 14:24:46

    数据仓库解决方案的主要作用是什么?#数据仓库 #光点科技

    数据
    光点科技
    发布于 :2023年06月19日 11:39:06

    什么是数据仓库解决方案?#数据仓库 #光点科技

    数据
    光点科技
    发布于 :2023年06月19日 10:27:00