0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

大数据分析平台实现支持多维度筛选的交互式界面,是由哪些部分组成

牵手一起梦 来源:中琛源 作者:佚名 2020-09-15 14:45 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

在搭建大数据分析平台之前,要先明确业务需求场景以及用户的需求,通过大数据分析平台,想要得到哪些有价值的信息,需要接入的数据有哪些,明确基于场景业务需求的大数据平台要具备的基本功能,来决定平台搭建过程中使用的大数据处理工具和框架。

大数据分析平台自下而上一般分为三个部分,分别为:数据层、大数据采集与存储、数据分析及展示。

(1)数据层,针对不同系统进行分析,制定系统数据采集范围与目标,收集各个业务系统产生的各类数据,将各种结构化和非结构化数据进行整合,为大数据的分析提供支撑。

(2)大数据采集与存储旨在为各类异构数据研制适配接口,与其他各系统对接,并为数据提供适配、转换、存储等基本管理功能,基本步骤包括:

数据抽取:针对大数据分析平台需要采集的各类数据,分别有针对性地研制适配接口。对于已有的信息系统,研发对应的接口模块与各信息系统对接,不能实现数据共享接口的系统通过ETL工具进行数据采集,支持多种类型数据库,按照相应规范对数据进行清洗转换,从而实现数据的统一存储管理。

数据预处理:为使大数据分析平台能更方便对数据进行处理,同时为了使得数据的存储机制扩展性、容错性更好,需要把数据按照相应关联性进行组合,并将数据转化为文本格式,作为文件存储下来。

数据存储:为了提升数据存储的扩展性和容错性,采用主流的大数据框架对各类数据统一进行文本化存储,数据按相应规则存储,实现每日保存一套完整数据文件集,形成数据仓库。

(3)数据分析和展示是核心业务层,通过数据报表工具,根据需求制定多样的,针对性的数据报表。针对存储的数据进行数据处理、算法运行、结果转换操作,将结果保存为报表文件,每日形成的报表文件集。报表展现系统将生成的报表文件以可视化方式进行展现。

系统架构应高安全性、易扩展性,能够支持各类主流开发语言,并提供丰富的接口。同时能够支持结构化和非结构化数据的存储和应用。通过建立物联网应用,实现对物品、人员、安全等各方面管理的强大支撑,提升管理质量的同时积累大量管理数据和行为数据。

大数据分析平台是企业一体化的大数据分析与应用平台,为企业提供大数据分析与决策。

建设大数据分析平台以安全、可扩展、灵活性为原则,把某些有业务联系的单图组织成一个数据可视化的模块,用来反映业务各方面的数据情况,它从多种数据源获取数据,实现支持多维度筛选的交互式界面。

大数据分析平台由哪些部分组成.中琛魔方大数据分析平台表示大数据分析处理平台(zcmorefun.com)就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具,实现对数据的挖掘和分析。一个大数据分析平台涉及到的组件众多,如何将其有机地结合起来,完成海量数据的挖掘是一项复杂的工作。

责任编辑:gt

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 接口
    +关注

    关注

    33

    文章

    9444

    浏览量

    156139
  • 大数据
    +关注

    关注

    64

    文章

    9029

    浏览量

    143062
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    多种类几何尺寸集成智能仪器定制 一站解决产线多维度测量需求

    “功能集成+智能升级+产线适配”的核心逻辑,将多维度测量需求整合到一台设备中,同时融入数据处理、联网交互、自动化适配能力,从根本上解决产线测量的“碎片化”问题。 定制化集成仪器的核心优势 产线传统痛点
    发表于 10-09 13:50

    电磁兼容与电磁干扰在电磁兼容性大数据分析中的智能管理系统

    数据,结合大数据分析、流程自动化及云边协同技术,实现电磁环境全生命周期管理。以下从五大维度精简解析: 应用案例 北京华盛恒辉、北京五木恒润研发的 EMC/EMI 智能管理系统已落地应
    的头像 发表于 09-17 14:58 443次阅读

    电磁兼容与电磁干扰在电磁兼容性大数据分析中的智能管理平台

    电磁兼容与电磁干扰在电磁兼容性大数据分析中的智能管理系统
    的头像 发表于 09-17 14:58 375次阅读
    电磁兼容与电磁干扰在电磁兼容性<b class='flag-5'>大数据分析</b>中的智能管理<b class='flag-5'>平台</b>

    电磁兼容与电磁干扰在电磁兼容性大数据分析中的智能管理系统

    电磁兼容与电磁干扰在电磁兼容性大数据分析中的智能管理系统
    的头像 发表于 09-17 14:42 588次阅读
    电磁兼容与电磁干扰在电磁兼容性<b class='flag-5'>大数据分析</b>中的智能管理系统

    Acrel-7000 能源管控平台赋能饮料企业:从车间到设备的多维度能效分析与优化

    面对市场竞争的关键。 二、安科瑞企业能源管控平台 近日,某知名饮料企业使用Acrel-7000企业能源管控平台实现了从企业-车间-产线-工序-设备的多种类能耗计量和多维度的能效
    的头像 发表于 08-30 14:42 351次阅读
    Acrel-7000 能源管控<b class='flag-5'>平台</b>赋能饮料企业:从车间到设备的<b class='flag-5'>多维度</b>能效<b class='flag-5'>分析</b>与优化

    如何通过数据分析识别设备故障模式?

    通过数据分析识别设备故障模式,本质是从声振温等多维数据中提取故障特征,建立 “数据特征 - 故障类型” 的映射关系,核心可通过特征提取、模式匹配、趋势
    的头像 发表于 08-19 11:14 536次阅读
    如何通过<b class='flag-5'>数据分析</b>识别设备故障模式?

    AI数据分析仪设计原理图:RapidIO信号接入 平板AI数据分析

    AI数据分析仪, 平板数据分析仪, 数据分析仪, AI边缘计算, 高带宽数据输入
    的头像 发表于 07-17 09:20 498次阅读
    AI<b class='flag-5'>数据分析</b>仪设计原理图:RapidIO信号接入 平板AI<b class='flag-5'>数据分析</b>仪

    如何使用协议分析仪进行数据分析与可视化

    工具优势: SolarWinds:提供交互式仪表盘,支持钻取分析(如点击某IP查看其所有会话)。 Kentik:基于流数据(NetFlow/sFlow)生成实时拓扑图,显示流量路径和
    发表于 07-16 14:16

    MYSQL集群高可用和数据监控平台实现方案

    该项目共分为2个子项目,MYSQL集群高可用和数据监控平台部分组成
    的头像 发表于 05-28 10:10 1081次阅读
    MYSQL集群高可用和<b class='flag-5'>数据</b>监控<b class='flag-5'>平台</b><b class='flag-5'>实现</b>方案

    RFID系统:技术解析与应用全景

    RFID(Radio Frequency Identification)系统通过无线电波实现非接触数据交互,其核心
    的头像 发表于 05-18 17:48 738次阅读

    七款经久不衰的数据可视化工具!

    的图表和交互能力,不适合企业级的复杂数据分析任务。 5. Qlik Sense 优点:强大的数据发现和多维分析功能,支持自助
    发表于 01-19 15:24

    水库水位监测系统的创新特点:可视化界面与多平台支持

    水库水位监测系统的创新,不仅仅体现在技术的升级上,更重要的是,它为水资源管理提供了更加科学、便捷和高效的手段。可视化界面数据展示更加直观,支持平台接入则让监控变得无处不在,智能报警
    的头像 发表于 01-07 10:01 1013次阅读
    水库水位监测系统的创新特点:可视化<b class='flag-5'>界面</b>与多<b class='flag-5'>平台</b><b class='flag-5'>支持</b>

    Mathematica 在数据分析中的应用

    数据分析是现代科学研究和商业决策中不可或缺的一部分。随着数据量的爆炸性增长,对数据分析工具的需求也在不断增加。Mathematica,作为一种强大的计算软件,以其独特的符号计算能力和广
    的头像 发表于 12-26 15:41 1077次阅读

    储能中人与机器交互的媒介——HMI

    的控制等多种功能。   通常HMI硬件部分与软件部分组成,硬件主要为显示屏、按键等,用来显示及输入信息,软件部分主要操作系统和驱动程序以及用户界面
    的头像 发表于 12-24 00:27 3465次阅读

    可与MES系统集成的数据采集监控平台

    有用的指标和报表。 提供实时监控、故障预警、产能优化等数据分析功能,为决策提供支持数据分发与集成: 将处理后的数据按需分发给各个业务系统或用户。
    发表于 12-16 15:08