0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

企业数据集成是什么呢?

秒秒说数据 来源:秒秒说数据 作者:秒秒说数据 2022-07-13 14:51 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

企业数据集成是将不同来源的数据整合在一个数据库中的过程,即异构数据之间的同步。将不同种类,不同版本的数据库、文件、Mail等之间进行同步。由于不同的数据源定义属性时命名规则不同,存入的数据格式、取值方式、单位都会有不同。因此即便两个值代表的业务意义相同,也不代表存在数据库中的值就是相同的。因此需要数据入库前进行集成,去冗余,保证数据质量。数据集成可以认为是ETL(BI上的定义为:抽取——转换——清洗——过滤——加载);但更强调自动化过程管理。

在实现机制上,应包括常见的集成模式:Split/Merge/Route/PS等;另外还应该具备建模(元数据管理)和治理(Governace)功能。

数据集成有什么意义呢?

数据集成意义主要是实现数据中心,例如企业级SID;或者遗留系统在数据层面的集成。在建立全局SID的基础上,可以构建很多有意义的东西:例如Portal/CMS,报表,数据搜索,挖掘等等,这些可以概括地称为BI,即商业智能。

因此,数据集成有两个层面的意义:

1)操作层面

2)分析层面

数据集成的实现步骤:

1.界定数据交互的项别与内容,如:PDM系统和ERP系统之间的BOM数据;

2.指定数据交互周期,一天一次,还是一周一次;

3.选择交互方式,通过数据库,还是中间件技术来交互;

4.由ODS数据交互调度程序实现数据上载或是由外围系统自行实现数据下载,从而实现数据的集成。

数据集成会出现的问题:

1.数据重复

检查数据重复一般需要通过主要关键词,最好对主要关键词进行优化,过滤重复数据。在数据结构尽量调研每个字段的含义,拆分或整合。重复数据入库,不仅会给日后的数据关联造成极大的影响,也会影响数据分析与挖掘的效果,应尽量避免。

2.数据冲突

数据冲突就是两个数据源中同样的数据,但是取值记录的不一样。造成这种情况除了有人工误入,还有可能是因为货币计量的方法不同,汇率不同,税收水平不同、评分体系不同等等原因。

对待数据冲突问题,就需要对实际的业务知识有一定的理解。同时,对数据进行调研,尽量明确造成冲突的原因。如果数据的冲突实在无法避免,就要考虑冲突数据是否都要保留、是否要进行取舍,如何取舍等。

审核编辑 黄昊宇

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据库
    +关注

    关注

    7

    文章

    3993

    浏览量

    67736
  • ETL
    ETL
    +关注

    关注

    0

    文章

    24

    浏览量

    10014
  • 数据集成
    +关注

    关注

    0

    文章

    59

    浏览量

    9475
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    无质量损失的数据迁移:Nikon SLM Solutions信赖3Dfindit企业

    的同时,输入每个新零件节省了约13分钟。 一个软件,多种应用除了数据迁移,Nikon SLM Solutions还使用3Dfindit企业版对标准件、外购件和自制专有件进行结构化管理,以及将电子CAD数据 (ECAD)
    发表于 11-25 10:06

    宏集案例 | OPC 数据采集与可视化集成,实现设备到ERP的一体化联动

    案例概览在数字化制造的浪潮中,越来越多企业选择以数据为核心优化生产流程。北欧一家领先的塑料制造商,在新设备上线与系统集成过程中,借助宏集CogentDataHub软件,成功部署了OPC实时数据
    的头像 发表于 08-08 18:15 279次阅读
    宏集案例 | OPC <b class='flag-5'>数据</b>采集与可视化<b class='flag-5'>集成</b>,实现设备到ERP的一体化联动

    企业级MySQL数据库管理指南

    在当今数字化时代,MySQL作为全球最受欢迎的开源关系型数据库,承载着企业核心业务数据的存储与处理。作为数据库管理员(DBA),掌握MySQL的企业
    的头像 发表于 07-09 09:50 508次阅读

    基于网关的PLC数据采集与MES系统集成方案

    通过御控工业网关实现PLC数据采集到MES系统是一种可行、高效的解决方案。该方案能够解决不同品牌和型号PLC与MES系统之间的数据集成问题,实现生产现场数据的实时采集、传输和分析,为制
    的头像 发表于 05-20 16:35 515次阅读

    IBM携手英伟达AI数据平台推动企业级AI创新

    近日,IBM(纽约证券交易所:IBM)宣布与英伟达(纳斯达克股票代码:NVDA)开展全新合作,双方将基于英伟达 AI 数据平台参考架构(reference architecture)进行产品集成
    发表于 03-24 19:20 414次阅读

    AI技术如何助力企业数据资产管理

    企业如何将海量信息转化为战略资本?AI技术持续突破又会给数据资产化带来什么助力?以下是DeepSeek整理的答案,供大家参考。
    的头像 发表于 02-15 14:03 1303次阅读

    DeepSeek 是如何赋能未来

    在这个数据驱动的时代,企业面临着前所未有的机遇与挑战。DeepSeek 作为新一代智能数据解决方案,正在重新定义企业数据应用的方式,为各行各
    的头像 发表于 02-08 09:18 1131次阅读

    hyper vm,hyper vm是什么工具

        在数字化转型的浪潮中,企业面临着海量数据的管理和分析挑战。传统的管理方式已经无法满足企业对效率和精准度的要求。此时,批量管理工具的出现,为企业提供了一种全新的解决方案,它能够快
    的头像 发表于 01-22 15:59 888次阅读
    hyper vm,hyper vm是什么工具<b class='flag-5'>呢</b>

    DAC3174如何同步数据DATA

    看了DAC3174的datasheet,对芯片有了比较好的理解,但是对于SYNCP/N的作用和如何被FPGA驱动没有理解到位,只知道他是一个复位写FIFO指针和作为数据同步信号。但是如何驱动它
    发表于 01-22 08:42

    七款经久不衰的数据可视化工具!

    ,Power BI 是一款性价比高的商业智能工具,尤其适合企业用户。它能够与微软的其他产品,如Excel、SharePoint等无缝集成,方便数据分析和报告生成。它的缺点是,功能强大的同时可能对初学者
    发表于 01-19 15:24

    企业AI解决方案包括哪些内容

    企业AI解决方案是一种集成了人工智能技术的综合性方案,旨在提高企业运营效率、降低成本、优化业务流程,并提升企业的整体竞争力。那么,企业AI解
    的头像 发表于 01-10 10:15 1006次阅读

    戴尔数据湖仓助力企业数字化转型

    在数字化转型的浪潮下,企业正面临着前所未有的数据挑战。从传统的结构化数据到如今的非结构化数据、半结构化数据,每一种类型都对
    的头像 发表于 12-20 09:31 770次阅读

    可与MES系统集成数据采集监控平台

    可与MES系统集成数据采集监控平台,在制造业中扮演着至关重要的角色。这类平台通过实时采集各类数据源,对数据进行整合和统一管理,为MES系统提供准确、实时的
    发表于 12-16 15:08

    三维天地QMS数据管控体系保障企业数据安全可控

    一、业务背景 数据作为企业核心资源,对于其安全性和可控性的维护,是确保企业持续稳健运营及履行法律责任的基础。企业必须对数据的保密性、完整性和
    的头像 发表于 12-12 14:22 595次阅读
    三维天地QMS<b class='flag-5'>数据</b>管控体系保障<b class='flag-5'>企业</b><b class='flag-5'>数据</b>安全可控

    PLM系统适合哪些类型企业使用?PLM系统适用领域分析

    一款能够贯穿产品从设计、制造到报废全生命周期的管理软件。PLM系统以其强大的数据集成、流程优化和协同设计能力,成为众多企业提升竞争力的利器。那么,哪些类型的企业最适合使用PLM系统
    的头像 发表于 12-10 11:16 1449次阅读