0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

数据集成系统在教育行业中的应用

jf_78858299 来源:一个数据人的自留地 作者:数据人创作者联盟 2023-05-06 10:28 次阅读

一个风雨交加的晚上,领导把我拉到会议室说:老影啊,公司接到一个项目,需要在3个月里完成一个大数据平台的开发,用于项目的交付,这个任务交给你了,加油搞!此刻的我:搞?搞事情啊~~~。由此我开始了数据平台的“闯关之路”,遇到的第一个boss就是数据集成系统......

01

什么是数据集成?

百科里的解释是:把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享;通俗讲就是把分散在各个系统中的各种类型的数据统一汇聚起来,主要体现在一个“集”字。

而数据集成系统就是提供数据集成能力的平台,是一站式解决异构数据存储互通,消除数据孤岛的同步平台,为大数据各系统和业务方提供数据集成的高效通道 。

拿现实中的实例类比来说,数据集成就好比把各种粮食通过不同的管道灌输到一个大粮仓中,这些管道就是数据集成系统,我们可以支持接入各式各样的粮食,小麦、玉米、大豆等等,同时支持在这些管道中加一些滤网,比如在大豆的管道中加上5mm的滤网,此时从大豆管道过来的粮食只有5mm以下的大豆,这就相当于数据集成系统中的数据过滤功能;这个粮仓相当于集成目的,我们把数据集成进来之后存储在这里,供其他各方消费。

02

教育为什么要做数据集成?

2.1 数据大爆炸

现在是一个信息大爆炸时代,互联网的高速发展、迅速普及,让信息无处不在、无孔不入,每天在我们所生活在的这个世界出现了大量的信息,教育场景下也不例外,随着各种信息化系统的涌入,信息以空前的速度增长,教育从业者体验着信息时代便捷的同时,也给他们带来了问题和“副作用”,从浩如烟海的信息海洋中迅速而准确地获取他们最需要的信息,变得非常困难。

2.2 数据来源多样化

随着《教育信息化2.0行动计划》的提出,教学过程中的信息化系统越来越多,比如作业系统、考试系统、选课系统、智慧课堂等等,每个系统都会产生大量的数据,存储在各自的数据库中,如果系统的服务商不同,可能数据的格式也不一样,致使教育场景下的数据越来越多,越来越难以管理。

2.3 数据集不同结构

教育场景下的数据集可能是结构化的、半结构化的,甚至非结构化的;比如:考试系统中的数据是结构化的,评价系统中的数据是半结构化的,课堂实录中的数据是非结构化的;不同结构的数据需要整合成统一的结构才能够进行统计和分析。

2.4 数据冗余

数据中有很多冗余、错误、敏感数据,如果不进行数据清洗,会影响数据分析的效率和结果;在这种情况下需要我们配置统一的标准,对数据进行简单的处理,以便于后续进行统计分析。

03

数据集成系统对教育的价值是什么?

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来,按照科学的教育评价准则,对教学数据进行科学的统计分析,提供有价值的教学质量测评与分析数据,实现对教育活动,教育过程和教育结果的价值评判,为提高教育质量,教育决策以及学校改进日常教学方法提供科学的依据,实现教育管理的智能化,提升教育管理与服务水平。

数据集成系统作为底层基础支撑性服务,是大数据系统的核心组成部分。通过提供数据集成能力,将教育各部门和来自互联网的结构化和非结构化的数据进行统一的汇聚接入,存储到大数据存储组件,并支持数据的预处理,为大数据系统提供原始数据支撑。

04

数据集成系统怎么做?

4.1 建设原则

  • 数据采集系统针对实际项目中复杂的、异构的数据环境,实现对多种数据源的集成,支持的关系数据库有Oracle、MySQL、Sqlserver等,支持的文件类型有txt文件、csv文件、excel文件等,支持的接口类型有webservice接口、http接口、socket接口等。
  • 对于不同的大数据存储需求,实现对多种大数据存储组件的支持,支持的大数据存储组件包括HDFS、HBase、Hive、Solr、Elasticserach等。
  • 针对数据的预处理需求,实现对数据的清洗、转换、标准化等预处理的支持,并且支持清洗规则、转换规则的用户自定义,以及清洗、转换、导入流程的用户自定义。
  • 在数据采集系统中,各类功能点模块化、组件化,便于步骤独立,保证系统内部模块自治,同时便于多种步骤、方法的组合应用。
  • 简化用户操作,通过图形化的配置方式,简单,灵活,使得用户无需过分关心数据库的各种内部细节,而专注于功能。

4.2 数据集成信息框架

数据集成信息流

4.3 功能结构

为了快速实现数据集成系统,满足后续项目交付,经过和研发大佬的多次沟通,优先实现为业务提供数据集成的能力的数据源管理和集成任务管理。明确了第一版需求,只要包含数据源管理和集成任务管理就可以支持项目交付,因此功能结构设计如下:

数据集成系统功能结构图

4.4 建设内容

4.4.1 数据源管理

数据源模块主要管理平台支持的数据组件的基础信息,包含各种数据组件的新增,配置和管理,如关系型数据库的数据库IP,端口,访问信息等。这里大家可以理解为一个中间层,先通过数据抽取组件将各系统数据抽取到这里,以备后续集成任务管理模块的调用。

  • 在这里可以对数据源进行增删改查
  • 前提是需要和数据来源方沟通好,需要提供数据库ip相关信息
  • 下方是页面示例:

数据源管理列表

4.4.2 集成任务管理

当用户创建好数据源之后,需要有一个模块支持用户创建集成任务,相当于上文中讲到的,上游的所有粮食都准备好了,需要我们提供搭建管道的地方,让用户把所有的管道搭起来,然后把各种粮食都汇聚到一起。此时集成任务管理模块诞生了,这个模块下主要对数据集成的任务进行统一的管理,支持用户对数据集成任务进行增删改查.

(1)操作列表功能

  • 上线:

    集成任务完成创建状态默认为未上线,此时用户可将集成任务上线,上线为就绪状态;

  • 运行:

    上线状态下的任务支持运行,运行自动调用任务执行组件,开始数据集成;

  • 下线:

    已上线的任务支持下线;

  • 删除:

    未上线和已下线的任务支持删除;

  • 编辑:

    未上线和已下线的任务支持编辑。

(2)任务运行

  • 集成任务创建好之后,如果需要周期性的拉取数据,这时候需要支持进行例行周期配置,支持用户配置定时任务;
  • 同时支持用户进行失败策略、任务执行优先级等相关参数的配置。

4.4.3 新增集成任务

为了方便用户填写,支持用户选择不同的数据源类型,数据接口类型不同,需要配置的参数信息也不同;但是总体来说数据集成主要分为三步:

  • 数据接入:

    回答数据从哪来的问题;

  • 数据处理:

    回答对数据要做什么的问题;

  • 数据输出:回答数据要到哪去的问题。

下方以将第三方数据库数据集成到hive中为例举例说明。选择数据库之后,页面进入数据集成任务配置页,三个步骤依次如下:

(1)数据接入

主要配置数据源相关信息,需要用户填写数据源表相关信息:

  • 数据源:

    数据集群相关信息;

  • 数据库:

    源数据存储数据库;

  • 是否分表:

    如果分表存储需要从多个表抽取数据;

  • 表名:

    源数据所在表名;

  • 数据归属产品/系统:

    这部分数据在目录管理系统维护,这里直接引用;

  • 数据预览:

    支持用户对所选表进行预览,查看数据格式。

(2)数据处理

到在数据集成过程中会对数据进行预处理,考虑到后续的扩展性,这里直接将各种处理步骤提炼为公共组件,支持用户自定义选择,第一期可支持:字段映射过滤、账号匹配、数据脱敏、数据转换;

为了节省操作,数据处理默认以字段映射过滤开始,自动选择一项,用户可直接点击下一步。

(3)数据输出

此时的数据经过预处理,已经完成了清洗、转换的操作,接下来就需要将处理完的数据存下来,以备后续使用。

05

数据集成结束后做什么?

下面以学生画像的思路和大家简单聊聊。

通过从各个系统中采集过来的数据,包含但不限于:学生上网数据、网页浏览时长、作业完成数据、作业完成时长、课堂互动数据等等,帮助学校管理者针对学生群体进行标签化分析。帮助教育管理者从学习,网络行为,生活等多维度分析学生群体的习惯和特点,为学校实现个性化培养教育提供数据支撑。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据集成
    +关注

    关注

    0

    文章

    50

    浏览量

    9173
  • 数据集
    +关注

    关注

    4

    文章

    1197

    浏览量

    24536
  • 大数据
    +关注

    关注

    64

    文章

    8805

    浏览量

    136991
收藏 人收藏

    评论

    相关推荐

    云脉文档识别在教育行业的应用

    `如今云脉文档识别在各行各业都有非常广泛的应用空间,教育行业也不例外。 对于工作繁忙的教师而言,平时在书店,图书馆看书、看杂志时发现精彩词句,或重要数据、资讯,想及时摘录下来在课堂上分享给学生,通常
    发表于 03-13 17:25

    Banana Pi 携手东莞金禄电子,发展开源硬件在教育行业的应用

    Banana Pi 携手东莞金禄电子,发展开源硬件在教育行业的应用转自lemaker东莞市金禄电子科技有限公司是一家从事无纸化教育整体解决方案及配套产品的研发、生产、销售、应用推广的高新技术企业
    发表于 08-09 21:04

    VR虚拟现实软件开发应用在教育行业有哪些优势?

    提起VR虚拟现实软件,不得不说的就是教育。那么,当VR虚拟现实软件用在教育行业到底会有怎样的效果呢? VR虚拟现实软件呈现的内容是将现实与虚拟相融合,虚拟素材的展示非常的生动、形象、直观,如电波
    发表于 12-17 14:16

    AR技术在教育行业的应用

    AR技术在教育行业的应用相对来说并不常见,除去对于儿童教育图书,AR涂涂乐一类的应用方式,在于其它方面的应用方式少之又少。但是,教育行业作为
    发表于 07-17 11:37 2344次阅读

    探索AR技术在教育行业的应用,看看AR教育有什么优势与前景?

    说起AR教育相信大家都已经耳熟能详,AR(增强现实)技术将知识与概念形象化、具体化的展现出来,交互性及趣味性强,虚实结合的教学环境来促进知识的迁移,达到寓教于乐的目的,越来越多的教育工作者去了解与探索AR技术在教育
    发表于 08-08 11:39 9063次阅读

    物联网在教育的应用

    本文主要讲述了物联网在教育领域中的应用。
    的头像 发表于 08-15 08:50 5139次阅读

    人工智能是干嘛的 人工智能在教育的应用研究

      摘 要:如今人工智能在教育行业的应用已经收到了越来越多的关注。本文通过查阅相关文献资料,分析其研究与应用,总结了人工智能在教育行业的应
    发表于 07-18 16:55 0次下载

    智能语音助手在教育行业的应用与挑战

    一、引言 随着人工智能技术的不断发展,智能语音助手在教育行业的应用越来越广泛。语音数据在教育智能语音助手中发挥着重要作用,为系统提供了丰富
    的头像 发表于 01-19 17:21 553次阅读

    投影融合系统在教育领域的应用与发展趋势

    投影融合系统在教育领域的应用正逐渐普及,它为教育带来了新的教学方式和更丰富的教学内容。以下是一些投影融合系统在教育领域的应用与发展趋势: 增
    的头像 发表于 02-01 15:10 321次阅读
    投影融合<b class='flag-5'>系统</b><b class='flag-5'>在教育</b>领域的应用与发展趋势

    SOLIDWORKS在教育领域的应用

    随着科技的飞速发展和数字化浪潮的推进,SOLIDWORKS作为一款强大的三维设计软件,其应用领域已经不仅局限于工程设计和制造行业,还逐渐渗透到教育领域中,成为培养学生实践能力和创新思维的重要工具。本文将探讨SOLIDWORKS在教育
    的头像 发表于 04-07 16:44 273次阅读
    SOLIDWORKS<b class='flag-5'>在教育</b>领域的应用

    光纤技术在教育的意义大吗

    。 光纤技术在教育的意义 光纤技术是教育领域的变革力量,影响着学习生态系统的各个方面。其贡献包括公平的入学机会、成本效率、全球连通性以及适应新兴
    的头像 发表于 04-11 11:56 151次阅读

    讯维通信技术在教育行业的应用案例研究

    讯维通信技术在教育行业的应用案例丰富多样,为教育机构带来了显著的效益和变革。以下是一些具体的应用案例研究: 案例一:数字孪生智慧课堂 某知名大学引入了讯维的数字孪生技术,成功构建了数字孪生智慧课堂
    的头像 发表于 04-18 15:42 194次阅读

    讯维智能可视化综合平台在教育行业的应用与前景

    讯维智能可视化综合平台在教育行业的应用已经展现出其巨大的潜力和价值,对于提升教学效果、丰富学习体验以及推动教育行业的数字化转型具有重要意义。以下是该平台
    的头像 发表于 05-11 16:34 265次阅读

    SolidWorks教育在教的具体应用

    随着科技的不断进步和工程教育的快速发展,计算机辅助设计软件在教学领域的应用越来越广泛。SolidWorks教育版作为一款功能强大、操作简便的三维建模软件,已经成为工程教育领域中不可或缺
    的头像 发表于 07-09 16:19 211次阅读
    SolidWorks<b class='flag-5'>教育</b>版<b class='flag-5'>在教</b>学<b class='flag-5'>中</b>的具体应用

    生成式人工智能在教育的应用

    生成式人工智能在教育的应用日益广泛,为教育领域带来了诸多变革和创新。以下是对生成式人工智能在教育的几个主要应用方面的详细阐述:
    的头像 发表于 09-16 16:07 121次阅读