电子发烧友网>今日头条> > 正文

数据挖掘的概念及特点 数据挖掘的基本步骤

2021年09月29日 11:27 次阅读

数据挖掘的概念及特点

数据挖掘指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程,主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,作出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,作出正确的决策。

数据挖掘的基本步骤。数据挖掘通过分析每个数据,从大量数据中寻找其规律的技术,主要有数据准备、规律寻找和规律表示三个步骤。数据准备是从相关的数据源中选取所需的数据并整合成用于数据挖掘的数据集;规律寻找是用某种方法将数据集所含的规律找出来;规律表示是尽可能以用户可理解的方式将找出的规律表示出来。数据挖掘的任务有关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。

数据挖掘的基本步骤

1、定义问题

在开始知识发现之前最先的也是最重要的要求就是了解数据和业务问题。必须要对目标有一个清晰明确的定义,即决定到底想干什么。比如,想提高电子信箱的利用率时,想做的可能是“提高用户使用率”,也可能是“提高一次用户使用的价值”,要解决这两个问题而建立的模型几乎是完全不同的,必须做出决定。

2、建立数据挖掘库

建立数据挖掘库包括以下几个步骤:数据收集,数据描述,选择,数据质量评估和数据清理,合并与整合,构建元数据,加载数据挖掘库,维护数据挖掘库。

3、分析数据

分析的目的是找到对预测输出影响最大的数据字段,和决定是否需要定义导出字段。如果数据集包含成百上千的字段,那么浏览分析这些数据将是一件非常耗时和累人的事情,这时需要选择一个具有好的界面和功能强大的工具软件来协助你完成这些事情。

4、准备数据

建立模型之前的最后一步数据准备工作。可以把此步骤分为四个部分:选择变量,选择记录,创建新变量,转换变量。

5、建立模型

建立模型是一个反复的过程。需要仔细考察不同的模型以判断哪个模型对面对的商业问题最有用。先用一部分数据建立模型,然后再用剩下的数据来测试和验证这个得到的模型。有时还有第三个数据集,称为验证集,因为测试集可能受模型的特性的影响,这时需要一个独立的数据集来验证模型的准确性。训练和测试数据挖掘模型需要把数据至少分成两个部分,一个用于模型训练,另一个用于模型测试。

6、评价模型

模型建立好之后,必须评价得到的结果、解释模型的价值。从测试集中得到的准确率只对用于建立模型的数据有意义。在实际应用中,需要进一步了解错误的类型和由此带来的相关费用的多少。经验证明,有效的模型并不一定是正确的模型。

造成这一点的直接原因就是模型建立中隐含的各种假定,因此,直接在现实世界中测试模型很重要。先在小范围内应用,取得测试数据,觉得满意之后再向大范围推广实施。模型建立并经验证之后,可以有两种主要的使用方法。第一种是提供给分析人员做参考;另一种是把此模型应用到不同的数据集上。

编辑:jq

下载发烧友APP

打造属于您的人脉电子圈

关注电子发烧友微信

有趣有料的资讯及技术干货

关注发烧友课堂

锁定最新课程活动及技术直播

电子发烧友观察

一线报道 · 深度观察 · 最新资讯
收藏 人收藏
分享:

评论

相关推荐

畜牧局非洲猪瘟实验室检测设备厂家有哪些?

畜牧局非洲猪瘟实验室检测设备厂家有哪些?农业农村局对生猪屠宰检疫、“瘦肉精”监测、非洲猪瘟自测监督、....
发表于 2021-09-29 17:31 29次阅读
畜牧局非洲猪瘟实验室检测设备厂家有哪些?

“神舟十二号”背后的Smartbi起了什么作用

2021年9月17日13时34分,神舟十二号载人飞船成功返回地面,圆满完成任务。此前,航天员聂海胜、....
发表于 2021-09-29 16:36 25次阅读
“神舟十二号”背后的Smartbi起了什么作用

5步快速完成数学建模

思迈特软件Smartbi是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服....
发表于 2021-09-29 16:25 11次阅读
5步快速完成数学建模

为什么需要BI报表它有什么好处

BI也叫商业智能系统,BI报表也就是将企业中现有数据进行整合并提供出的报表,商业智能描述了一系列的概....
发表于 2021-09-29 16:18 11次阅读
为什么需要BI报表它有什么好处

常见的数据分析方法有哪些

对比分析,是数据分析中最基础、最常用、也是最实用的分析方法之一。该方法主要是指将两个及以上对象的数据....
发表于 2021-09-29 16:01 7次阅读
常见的数据分析方法有哪些

Smartbi与龙芯中科完成产品兼容互认证

思迈特软件与龙芯中科技术有限公司(简称“龙芯中科”)进行了严格的产品兼容性测试工作,思迈特软件的Sm....
发表于 2021-09-29 15:53 19次阅读
Smartbi与龙芯中科完成产品兼容互认证

思迈特软件Smartbi智慧旅游让景区焕发新机

需要加快构建基于大数据的智慧旅游服务平台,实现风险有效防控与网络调度优化,推动工作从被动响应向主动预....
发表于 2021-09-29 15:40 12次阅读
思迈特软件Smartbi智慧旅游让景区焕发新机

由Smartbi牵头制定的商业智能与大数据分析软...

近期,由思迈特软件作为牵头单位制定的《商业智能与大数据分析软件通用技术规范》团体标准(以下简称:团标....
发表于 2021-09-29 14:13 23次阅读
由Smartbi牵头制定的商业智能与大数据分析软...

什么是数据挖掘它能给企业带来什么

数据挖掘是指通过大量的程序,通过数据分析确定趋势和模式,建立关系,从而解决业务问题。换句话说,数据挖....
发表于 2021-09-29 11:39 11次阅读
什么是数据挖掘它能给企业带来什么

bi和报表有什么不同的之处

报表可以实现多维度数据展示,却无法支持任意维度任意组合。有N个维度,制作N张报表的形式虽然可以勉强支....
发表于 2021-09-29 11:37 9次阅读
bi和报表有什么不同的之处

​大数据分析的基本方法理论有哪些

大数据分析最基本的要求就是可视化分析,因为可视化分析能够直观的呈现大数据特点,同时能够非常容易被读者....
发表于 2021-09-29 10:20 24次阅读
​大数据分析的基本方法理论有哪些

打造智慧城市的物联网关键技术解析

智慧城市只有通过一个由多个核心技术组成的集成、智能和相互依存的网络才能实现。 当人们想到智慧城市技术....
发表于 2021-09-28 09:56 38次阅读
打造智慧城市的物联网关键技术解析

检测非洲猪瘟的仪器的介绍

检测非洲猪瘟的仪器【厂家包教包会】竞道光电, 为抓好非洲猪瘟防控工作,该乡多措并举。引导村民使用合格....
发表于 2021-09-27 16:20 95次阅读
检测非洲猪瘟的仪器的介绍

超级菜鸟如何学习数据分析?这款BI工具值得一试

数据分析对企业运作必不可少。在企业做出最佳决策,实现问题快速响应,把握先机的过程中,敏捷可靠的数据分....
发表于 2021-09-27 11:31 21次阅读
超级菜鸟如何学习数据分析?这款BI工具值得一试

百万量级数据不要怕,一招教你精准锁定

在做数据分析时你有没有遇到这些问题: 数据量大,怎么也找不到特定日期的文件 老板要看某年某月的销售数....
发表于 2021-09-27 11:29 15次阅读
百万量级数据不要怕,一招教你精准锁定

负氧离子实时监测系统功能特点有哪些?

负氧离子实时监测系统功能特点有哪些?厂家介绍:当我们长久待在都市密闭房间内,有时会觉得头昏脑涨,而当....
发表于 2021-09-26 11:33 49次阅读
负氧离子实时监测系统功能特点有哪些?

城镇排水及污水处理厂监测监管解决方案

城镇排水及污水处理厂监测监管解决方案 一.产品概述 水质五参数自动监 测站是一款高度集成的自动监测系....
发表于 2021-09-24 10:20 22次阅读
城镇排水及污水处理厂监测监管解决方案

解读数据挖掘在智慧医疗领域的应用

本项目是通过学习机器学习与人工智能、数据挖掘的理论知识,将理论运用于智慧医疗等应用探索中,从而产出高....
发表于 2021-09-23 16:34 1462次阅读
解读数据挖掘在智慧医疗领域的应用

数据分析过程中几个可能常见的陷阱

前言 很多的数据分析人员往往太过于去关注数据或者分析方法论等,尤其是对于刚入门的,在解读数据过程中,....
发表于 2021-09-23 16:26 131次阅读
数据分析过程中几个可能常见的陷阱

Tenjin 与 GameAnalytics 携...

首个为 iOS15 营销提供的全栈式开发工具和解决方案 2021 年 9 月 23 日,中国,北京 ....
发表于 2021-09-23 10:00 44次阅读
Tenjin 与 GameAnalytics 携...

BigDL有何功能

BigDL是什么?BigDL有何功能?
发表于 2021-09-23 07:17 0次阅读
BigDL有何功能

数据时代,如何重新定义NAS的灵活性?

摘要: 借助全球最灵活的横向扩展NAS解决方案Dell EMC PowerScale,企业可支持任何....
发表于 2021-09-22 18:18 95次阅读
数据时代,如何重新定义NAS的灵活性?

学完这个专题,0基础小白快速上手数据分析

无论是公司还是个人,每天的行为都会产生数据,而如何利用起来这些数据,让这些数据发挥出本来的价值,是门....
发表于 2021-09-17 15:51 27次阅读
学完这个专题,0基础小白快速上手数据分析

提升企业数字化水平 这套信息化管理方案值得

相信大家对于HR既熟悉又陌生,熟悉是因为每个人入职、日常工作都会有所交集,陌生是因为大家对人力资源管....
发表于 2021-09-17 12:27 35次阅读
提升企业数字化水平 这套信息化管理方案值得

数睿数据亮相2021中国数字智能生态大会四域模型...

9月9日,以“抢占五新生态”为主题的CDEC 2021中国数字智能生态大会暨第十四届中国软件渠道大会....
发表于 2021-09-14 18:10 22次阅读
数睿数据亮相2021中国数字智能生态大会四域模型...

只需3步随时随地玩转数据分析

前言:Yonghong Z-Suite 为用户提供了移动端(IOS Andriod)的数据分析和展示....
发表于 2021-09-10 15:29 365次阅读
只需3步随时随地玩转数据分析

什么是虚拟仪器 它的特点和优势有哪些

虚拟仪器是在以通用计算机为核心的硬件平台上,由用户设计定义,具有虚拟面板,测试功能由测试软件实现的一....
发表于 2021-09-10 15:18 334次阅读
什么是虚拟仪器 它的特点和优势有哪些

省级认定!思迈特软件入围2021年度广东省工程技...

近日,广东省科学技术厅发布了《关于认定2021年度广东省工程技术研究中心的通知》。思迈特软件“广东省....
发表于 2021-09-06 14:46 48次阅读
省级认定!思迈特软件入围2021年度广东省工程技...

安科瑞餐饮油烟监测系统平台功能和应用场景

餐饮业油烟是大气中挥发性有机物(VOCS)和PM10的主要来源之一。近年来随着环保治理的加强,中央、....
发表于 2021-09-03 11:36 56次阅读
安科瑞餐饮油烟监测系统平台功能和应用场景

数据挖掘和数据分析的主要区别是什么

什么是数据分析 1)定义:简单来说,数据分析就是对数据进行分析。专业的说法,数据分析是指根据分析目的....
发表于 2021-09-01 16:36 46次阅读
数据挖掘和数据分析的主要区别是什么

还找不到数据异常原因?这份教程赶快拿走

  在企业经营过程中,经常需要对数据上升或下降的原因进行分析。通常的做法是验证性数据分析,即对原因进....
发表于 2021-08-31 17:58 30次阅读
还找不到数据异常原因?这份教程赶快拿走

同盾科技融入浙江鲲鹏生态,荣获鲲鹏应用创新大赛优...

近日,由杭州市数据资源管理局指导,浙江大学滨江研究院、浙江省鲲鹏生态创新中心、浙江省鲲鹏计算产业联盟....
发表于 2021-08-31 16:11 428次阅读
同盾科技融入浙江鲲鹏生态,荣获鲲鹏应用创新大赛优...

七夕 | 远光天鹊为企业异构数据搭桥

七夕节是中国民间的传统节日。传说古代天帝的孙女织女偷偷下到凡间,私自嫁给河西的牛郎,过上男耕女织的生....
发表于 2021-08-13 19:23 137次阅读
七夕 | 远光天鹊为企业异构数据搭桥

DNA甲基化与表观遗传学数据挖掘与分析学习会 (10月26-27 上海) 精选资料分享

两天一夜高强度训练,理论与实战相结合赠送高清视频供学员复习使用会务背景 表观遗传学调控多种生命活动及疾病发生发展...
发表于 2021-07-26 08:14 101次阅读
DNA甲基化与表观遗传学数据挖掘与分析学习会 (10月26-27 上海)  精选资料分享

高级数据分析师凭什么月薪三万?一文解答你所有困惑

适逢全国上下都在探讨数字化,各行各业开始不遗余力地深耕数字化转型,数据分析师也成了大热职业,变身抢手....
发表于 2021-07-08 18:07 33次阅读
高级数据分析师凭什么月薪三万?一文解答你所有困惑

什么是数据指标体系?如何设计指标体系?

什么是数据指标体系?为什么需要指标体系? 如何设计指标体系? 什么是数据分析? ...
发表于 2021-07-02 06:51 101次阅读
什么是数据指标体系?如何设计指标体系?

不懂技术的业务,该怎么做数据可视化分析?

要说谁更懂业务逻辑,更懂业务分析需求和痛点,那肯定是业务人员,但问题在于很多业务是真不懂技术,不懂编程。不懂技...
发表于 2021-06-30 13:37 5151次阅读
不懂技术的业务,该怎么做数据可视化分析?

请问怎样去设计一种CAN总线数据分析系统?

怎样去设计一种CAN总线数据分析系统?
发表于 2021-05-19 06:41 202次阅读
请问怎样去设计一种CAN总线数据分析系统?

电机质量管理人员该何去何从?

`   产品质量已成为现代企业要求生存和发展的命脉,对加工制造企业而言,产品质量控制主要是实现对加工过程...
发表于 2021-02-02 11:20 7070次阅读
电机质量管理人员该何去何从?

数据量大、分析急,该用什么软件做数据分析?

数据量大,现在的软件分析效率太低,操作也麻烦,有没有更适合的数据分析软件?或许BI数据分析软件会是个好选择。奥...
发表于 2020-12-29 11:33 505次阅读
数据量大、分析急,该用什么软件做数据分析?

把数据分析师当取数机?大材小用背后是BI软件的缺位

好端端一个数据分析师,天天被业务部门指挥着去拉数据,累死累活不说,还挤兑得没时间做深度分析。久而久之数据分析师...
发表于 2020-12-24 14:05 707次阅读
把数据分析师当取数机?大材小用背后是BI软件的缺位

用商业智能BI做数据分析,要掌握SQL吗?

如果你是业务人员,那么不掌握SQL也没影响;如果你是IT人员,要自行开发维护,那么,别的不说,基础的SQL能力...
发表于 2020-12-14 11:08 404次阅读
用商业智能BI做数据分析,要掌握SQL吗?

用智能BI软件来做财务分析会擦出怎样的火花?

BI软件,也不陌生了,也就是快速实现海量数据智能可视化分析的软件;财务分析,那就更不陌生了,几乎每个做分析的都...
发表于 2020-11-06 17:13 505次阅读
用智能BI软件来做财务分析会擦出怎样的火花?