0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

简单谈谈数据集成

秒秒说数据 来源:秒秒说数据 作者:秒秒说数据 2022-08-10 14:19 次阅读

什么是数据集成?

狭义的数据集成定义是指将不同源的数据组合成一个统一视图。而更广义的解释是:数据集成是数据库之间移动数据的过程 - 内部,外部或两者。这里,数据库包括生产DBS,数据仓库(DWS)以及生成和存储数据的第三方工具和系统。

我们简单整理了数据集成的相关技术释义,包括iPAAS, iPAAS,CDP,ETL,ELT,以及反向ETL。同时,所有集成工具都使用相同的底层技术API

1.IPAAS或Integration Platform作为服务:数据在云应用程序之间移动直接在IPAAS中没有发生转换

2.CDP或客户数据平台:数据通过中心集线器在云应用程序之间移动,可实现适度的转换功能

3.ETL或提取,转换和加载:数据从云应用程序通过内置于ETL工具中的强大转换图层移动到数据仓库

4.ELT或提取,加载和变换:数据从云应用程序移动到数据仓库直接发布,通过SQL在仓库中发生转换和数据建模。这里的主要区别在于,使用ETL,在将数据装入仓库之前发生转换,而在ELT中,随后发生转换。

IPAAS或Integration平台作为服务

促进开发、执行和集成流治理同任何本地(on-premises)以及基于云的流程、服务、应用和数据连接的一套云服务,可以在独立的或者多个交叉的组织中进行"。

IPAAS的优点,它们隐藏了优秀Web应用程序背后的大部分语法复杂性。中央集线器可以配置不同的模块,这些模块可以连接不同的工具,然后将结果提供给其他服务或应用程序。

IPAAS的缺点,但是开发人员需要创建数据到达时如何进行转换的描述,要求用户采用传统的编程语言编写函数,以便对数据进行过滤和操作。

CDP或客户数据平台

1.统一客户数据,统一客户身份

CDP客户数据平台可以解决用户场景断点和分散问题,实现数据通融。

2.多场景的客群分析,深度洞察客户

针对不同的运营阶段和业务场景,CDP可以提供不同的客户行为数据分析模型,对目标人群或全量客户的留存情况/参与度进行洞察,及时发现影响客户增长的关键因素,指导市场决策、产品改进、促进用户转化等。

ETL或提取,转换和加载

ETL是一种传统的数据集成过程。首先从一方数据库和第三方来源提取数据(主要是SaaS工具,用于销售,营销和支持),以满足分析师和数据科学家的需求,最后装入数据仓库。

转型特别是资源 - 激励和耗时,这显着影响提取和数据加载之间所需的时间。

但是,由于仓储技术和生态系统的进步,ETL正在被ELT所取代,ELT相对会更快,更灵活。

ELT或提取,加载和变换

ELT是ETL的现代方法,这在很大程度上提高效率,因为云数据仓库的发展,在ELT范例下,数据从源系统中提取并加载到仓库中而不会发生任何转换。事实上,现代ELT工具甚至没有提供内置的转换功能,但与DBT这样的服务很好地集成了用于处理数据仓库内的转换层的DBT。ELT快速,实惠,最重要的是,不需要编码,所有这些都是从ETL到ELT的转变。

目前我国目前数据集成的主流是ETL ,但是作为一种传统技术,在未来使用ELT作为数据集成架构的将会越来越多。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据中心
    +关注

    关注

    15

    文章

    4128

    浏览量

    69356
  • 数据集成
    +关注

    关注

    0

    文章

    47

    浏览量

    9150
  • 数据一致性
    +关注

    关注

    0

    文章

    5

    浏览量

    1384
收藏 人收藏

    评论

    相关推荐

    简单认识微波光子集成芯片和硅基光子集成芯片

    、光放大器和光探测器等组成,而微波器件则由微波源、微波调制器、微波放大器和微波探测器等组成。通过将这些器件集成在同一芯片上,微波光子集成芯片实现了微波和光子信号的直接转换和耦合,从而提高了微波和光子器件的集成度,实现了微波和光子
    的头像 发表于 03-20 16:11 146次阅读

    简单认识集成芯片

    集成芯片,又称集成电路,是现代电子技术中的重要组成部分。它是将电子元件,如晶体管、电容器、电阻器等,通过特定的工艺制造过程,集成在一个微小的芯片上。这种集成化的设计使得电路元件之间的连
    的头像 发表于 03-20 16:01 119次阅读

    SNP Glue 数据集成整合创新SAP数据,释放数据价值#SAP

    SAP数据集成
    snpgroup
    发布于 :2024年01月29日 23:43:31

    简单认识模拟集成电路

    模拟集成电路是指处理模拟信号的集成电路,模拟和混合信号 (Analog and Mixed Signal, AMS) 集成电路 (简称模数混合集成电路或混合
    的头像 发表于 12-08 10:29 510次阅读
    <b class='flag-5'>简单</b>认识模拟<b class='flag-5'>集成</b>电路

    SNP推出新Glue软件Saas版本,助力云数据集成

    SNP推出新版SNP Glue软件,作为CrystalBridge技术平台的一部分,可实现SAP数据与非SAP数据源之间的云原生集成,简化企业数据
    的头像 发表于 12-05 08:41 178次阅读

    简单谈谈限流电路

    在IEC60950-1/GB4943.1标准中,允许触及的导电零部件有2种情况
    的头像 发表于 12-04 10:46 649次阅读
    <b class='flag-5'>简单</b><b class='flag-5'>谈谈</b>限流电路

    SQLite数据库的特点 SQLite数据简单介绍

    SQLite数据库的特点 SQLite数据简单介绍 SQLite数据库是一种轻型的嵌入式数据库,其最主要的特点在于其开源、免费和可嵌入的特
    的头像 发表于 08-28 16:40 3345次阅读

    大规模集成电路StreamFusion简单的解决方案

    电子发烧友网站提供《大规模集成电路StreamFusion简单的解决方案.pdf》资料免费下载
    发表于 08-28 11:46 0次下载
    大规模<b class='flag-5'>集成</b>电路StreamFusion<b class='flag-5'>简单</b>的解决方案

    谈谈SiC MOSFET的短路能力

    谈谈SiC MOSFET的短路能力
    的头像 发表于 08-25 08:16 1043次阅读
    <b class='flag-5'>谈谈</b>SiC MOSFET的短路能力

    一个集成端到端数据完整性解决方案来防止沉默的数据损坏

    电子发烧友网站提供《一个集成端到端数据完整性解决方案来防止沉默的数据损坏.pdf》资料免费下载
    发表于 08-21 14:45 0次下载
    一个<b class='flag-5'>集成</b>端到端<b class='flag-5'>数据</b>完整性解决方案来防止沉默的<b class='flag-5'>数据</b>损坏

    谈谈光模块MSA多源协议

    熟悉光模块的人都知道,光模块的尺寸由封装形式(Form factor)所决定的,常见SFP、SFP+、XFP、QSFP+、QSFP28等都是由各种多源协议(MSA)组织规定的。下面我们来谈谈光模块MSA多源协议。
    的头像 发表于 07-25 18:29 1943次阅读
    <b class='flag-5'>谈谈</b>光模块MSA多源协议

    NVIDIA Omniverse让AI训练变得更加简单易用

    Rendered.ai 将 NVIDIA Omniverse Replicator 集成到其合成数据生成平台,使 AI 训练变得更加简单易用。
    的头像 发表于 07-24 09:14 801次阅读
    NVIDIA Omniverse让AI训练变得更加<b class='flag-5'>简单</b>易用

    宇凡微高集成的2.4G合封芯片内置MCU,开发简单成本低

    宇凡微高集成的2.4G合封芯片是一种先进的无线通信解决方案,内置MCU和2.4G无线模块,型号为G350,具有开发简单和成本低的优势。本文将详细介绍高集成的2.4G合封芯片的特点、优势以及在各个领域的应用。
    的头像 发表于 07-13 10:58 570次阅读

    简单数据记录器开源设计

    电子发烧友网站提供《简单数据记录器开源设计.zip》资料免费下载
    发表于 06-09 10:55 0次下载
    <b class='flag-5'>简单</b>的<b class='flag-5'>数据</b>记录器开源设计

    数据集成系统在教育行业中的应用

    一个“集”字。 而数据集成系统就是提供数据集成能力的平台,是一站式解决异构数据存储互通,消除数据
    的头像 发表于 05-06 10:28 308次阅读
    <b class='flag-5'>数据</b><b class='flag-5'>集成</b>系统在教育行业中的应用