还未设置个性签名
成为VIP会员 享9项特权: 开通会员

完善资料让更多小伙伴认识你,还能领取20积分哦, 立即完善>

3天内不再提示

机器学习和数据挖掘的关系

新机器视觉 来源:机器学习算法与Python实战 作者:机器学习算法与 2022-06-29 10:51 次阅读

在开篇之前,想和大家聊一下机器学习和数据挖掘的关系。

数据挖掘只是机器学习中涉猎的领域之一,机器学习还有模式识别、计算机视觉、语音识别、统计学习以及自然语言处理等。

机器学习即 ML,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。

机器学习作为人工智能研究较为年轻的分支,机器学习也分监督学习和非监督学习,同时随着人工智能越来越被人们重视和越热,深度学习也是机器学习的一个新的领域。

机器学习,从知识清单开始

我们第一天学开车的时候一定不会直接上路,而是要你先学习基本的知识,然后再进行上车模拟。

只有对知识有全面的认知,才能确保在以后的工作中即使遇到了问题,也可以快速定位问题所在,然后找方法去对应和解决。

所以我列了一个机器学习入门的知识清单,分别是机器学习的一般流程、十大算法、算法学习的三重境界,以此来开启我们的学习之旅。

一、机器学习的基本流程

b9f9a8b6-f6e9-11ec-ba43-dac502259ad0.jpg

引用大佬的解释:

A computer program is said to learn fromexperience E with respect to some task T and some performance measure P,if itsperformance on T,as measured by P,improves with experience E. —Tom Mitchell

简单来说,机器学习就是针对现实问题,使用我们输入的数据对算法进行训练,算法在训练之后就会生成一个模型,这个模型就是对当前问题通过数据捕捉规律的描述。然后我们将模型进一步导入数据,或者引入新的数据集进行评估,根据结果的好坏反过来调整算法,形成反馈和优化闭环。整个过程机器在不断的学习、训练和优化迭代,这个也是机器学习强大的地方。

二、机器学习的十大算法

为了进行机器学习和数据挖掘任务,数据科学家们提出了各种模型,在众多的数据挖掘模型中,国际权威的学术组织 ICDM(the IEEE International Conference on Data Mining)评选出了十大经典的算法。

按照不同的目的,我可以将这些算法分成四类,以便你更好的理解。

分类算法:C4.5,朴素贝叶斯(Naive Bayes),SVM,KNN,Adaboost,CART

聚类算法:K-Means,EM

关联分析:Apriori

连接分析:PageRank

1. C4.5

C4.5 算法是得票最高的算法,可以说是十大算法之首。C4.5 是决策树的算法,它创造性地在决策树构造过程中就进行了剪枝,并且可以处理连续的属性,也能对不完整的数据进行处理。它可以说是决策树分类中,具有里程碑式意义的算法。

2.朴素贝叶斯(NaiveBayes)

朴素贝叶斯模型是基于概率论的原理,它的思想是这样的:对于给出的未知物体想要进行分类,就需要求解在这个未知物体出现的条件下各个类别出现的概率,哪个最大,就认为这个未知物体属于哪个分类。

3. SVM

SVM 的中文叫支持向量机,英文是 SupportVector Machine,简称 SVM。SVM 在训练中建立了一个超平面的分类模型。

4. KNN

KNN 也叫 K 最近邻算法,英文是 K-Nearest Neighbor。所谓 K 近邻,就是每个样本都可以用它最接近的 K 个邻居来代表。如果一个样本,它的 K 个最接近的邻居都属于分类 A,那么这个样本也属于分类 A。

5. AdaBoost

Adaboost 在训练中建立了一个联合的分类模型。boost 在英文中代表提升的意思,所以 Adaboost 是个构建分类器的提升算法。它可以让我们多个弱的分类器组成一个强的分类器,所以 Adaboost 也是一个常用的分类算法。

6. CART

CART 代表分类和回归树,英文是 Classificationand Regression Trees。像英文一样,它构建了两棵树:一颗是分类树,另一个是回归树。和C4.5 一样,它是一个决策树学习方法。

7. Apriori

Apriori 是一种挖掘关联规则(association rules)的算法,它通过挖掘频繁项集(frequentitem sets)来揭示物品之间的关联关系,被广泛应用到商业挖掘和网络安全等领域中。频繁项集是指经常出现在一起的物品的集合,关联规则暗示着两种物品之间可能存在很强的关系。

8. K-Means

K-Means 算法是一个聚类算法。你可以这么理解,最终我想把物体划分成 K 类。假设每个类别里面,都有个“中心点”,即意见领袖,它是这个类别的核心。现在我有一个新点要归类,这时候就只要计算这个新点与K 个中心点的距离,距离哪个中心点近,就变成了哪个类别。

9. EM

EM 算法也叫最大期望算法,是求参数的最大似然估计的一种方法。原理是这样的:假设我们想要评估参数 A 和参数 B,在开始状态下二者都是未知的,并且知道了 A 的信息就可以得到 B 的信息,反过来知道了 B 也就得到了 A。可以考虑首先赋予A 某个初值,以此得到 B 的估值,然后从 B 的估值出发,重新估计 A 的取值,这个过程一直持续到收敛为止。

EM 算法经常用于聚类和机器学习领域中。

10. PageRank

PageRank 起源于论文影响力的计算方式,如果一篇文论被引入的次数越多,就代表这篇论文的影响力越强。同样 PageRank 被 Google 创造性地应用到了网页权重的计算中:当一个页面链出的页面越多,说明这个页面的“参考文献”越多,当这个页面被链入的频率越高,说明这个页面被引用的次数越高。基于这个原理,我们可以得到网站的权重划分。

算法可以说是机器学习的灵魂,也是最精华的部分。这 10 个经典算法在整个机器学习领域中的得票最高的,后面的一些其他算法也基本上都是在这个基础上进行改进和创新。今天你先对十大算法有一个初步的了解,你只需要做到心中有数就可以了。

三、机器学习的三大境界

1.掌握算法入口出口

第一重境界,将算法本身是做黑箱,在不知道算法具体原理的情况下能够掌握算法的基本应用情景(有监督、无监督),以及算法的基本使用情景,能够调包实现算法。

2.理解原理,灵活调优

第二重境界则是能够深入了解、掌握算法原理,并在此基础上明白算法实践过程中的关键技术、核心参数,最好能够利用编程语言手动实现算法,能够解读算法执行结果,并在理解原理的基础上对通过调参对算法进行优化。

3.融会贯通,设计算法

最后一重境界,实际上也是算法(研发)工程师的主要工作任务,即能够结合业务场景、自身数学基础来进行有针对性的算法研发,此部分工作不仅需要扎实的算法基本原理知识,也需要扎实的编程能力。

总结

今天我列了下学习机器学习你要掌握的知识清单,只有你对机器学习的流程、算法、原理有更深的理解,你才能在实际工作中更好地运用,祝你在机器学习的路上越走越远。

审核编辑 :李倩

  • 人工智能
    +关注

    关注

    1560

    文章

    36365

    浏览量

    216619
  • 数据挖掘
    +关注

    关注

    1

    文章

    388

    浏览量

    22434
  • 机器学习
    +关注

    关注

    64

    文章

    6384

    浏览量

    122607
收藏 人收藏

    评论

    相关推荐

    长寿命远程无线传感器的关键

      相比之下,工业级锂离子电池可以运行长达 20 年和 5,000 次完整充电循环,具有更大的温度范....
    的头像 星星科技指导员 发表于 08-10 17:16 26次 阅读

    人工智能的高峰和限制

    第一个高峰来源于人工智能概念的确立、以及符号主义算法的发展;第二个高峰来源于感知机、BP 网络、专家....
    的头像 city_prolove 发表于 08-10 15:00 28次 阅读

    TDK开发世界上首款内置边缘人工智能的i3微模块

    工厂和生产基地需要防止机器和设备出现异常情况,以最大限度地减少停机时间。生产力可以通过预测问题和率先....
    的头像 TDK中国 发表于 08-10 14:09 56次 阅读

    人工智能代理能否设计出良好的前缀图

    芯片设计的风险很高,研究人员一直在努力朝着更优化的设计迈进。随着我们转向小芯片设计,所有小芯片都需要....
    发表于 08-10 11:33 25次 阅读

    英特尔形成深度融合匹配的整体解决方案 推动通信产业发展

    身处不断数字化的世界中,我们需要更加高效灵活的计算来处理日益复杂多样的数据,这对半导体技术的创新提出....
    的头像 city_prolove 发表于 08-10 11:28 116次 阅读

    什么是高斯过程 神经网络高斯过程解析

    神经网络是怎么和高斯过程联系在一起的呢?Lee et al. [1] and Neal [2] 指出....
    发表于 08-10 11:25 23次 阅读

    沈阳人工智能计算中心正式上线并网投入运行

    【中国,沈阳,2022年8月9日】东北首座人工智能计算中心——沈阳人工智能计算中心(简称“沈阳智算”....
    发表于 08-10 09:53 30次 阅读

    华为和中国卫星应用协会牵头联合成立智能遥感开源生态联盟

    8月9日,以“共绘遥感创新应用新蓝图”为主题的智能遥感开源生态联盟第二次会议在武汉光谷成功举办。本次....
    的头像 华为计算 发表于 08-10 09:51 180次 阅读

    计算机模拟平台如何构建数字孪生大脑

    数字孪生是指充分利用物理模型、传感器、运行历史等数据,集成多学科、多尺度的仿真过程,它作为虚拟空间中....
    的头像 中科曙光 发表于 08-10 09:37 96次 阅读

    带着昇腾去旅行:一日看尽金陵城里的AI胜景

    旅行中的我们,总是在看一些关于过去的东西,比如自然的造化,历史的遗存。但或许你也会偶尔有个想法,想在....
    的头像 脑极体 发表于 08-10 09:32 128次 阅读

    20大专业展区,40余场主题活动!第十届中国电子信息博览会将于8月16日开幕

    近年来,随着云计算、大数据、人工智能、5G等数字技术的发展,人类社会正逐步进入数字经济时代。其中,电....
    的头像 时光流逝最终成了回忆 发表于 08-09 17:02 203次 阅读
    20大专业展区,40余场主题活动!第十届中国电子信息博览会将于8月16日开幕

    “楚·天枢”智能驾驶场景数据方案

    “楚·天枢”智能驾驶场景数据方案能够提供丰富的数据场景库,解决自动驾驶算法验证难题,并提供部分带标注....
    的头像 极目智能 发表于 08-09 11:09 103次 阅读

    卷积神经网络表征可视化研究综述

    近年来, 以深度神经网络(Deep neural networks, DNN)为代表的机器学习方法逐....
    的头像 恬静简朴1 发表于 08-09 10:44 109次 阅读
    卷积神经网络表征可视化研究综述

    工业 4.0对绿色电力的需求

    工业 4.0 的特点是生产具有更大的灵活性以及关键技术的组合和协调,以提供新一代制造所需的灵活性、简....
    的头像 唯爱萌meng 发表于 08-09 10:22 207次 阅读
    工业 4.0对绿色电力的需求

    人工智能可解释性规制面临的问题分析

    在实践中,人工智能的规模化应用推广,在很大程度上依赖于用户能否充分理解、合理信任并且有效管理人工智能....
    的头像 city_prolove 发表于 08-09 10:04 131次 阅读

    深度学习并非“简单的统计”

    与此同时,Boaz Barak 通过展示拟合统计模型和学习数学这两个不同的场景案例,探讨其与深度学习....
    的头像 city_prolove 发表于 08-09 10:01 56次 阅读

    基于人工智能的软开关减少损耗以扩展电动汽车的续航里程

    在汽车领域,对电动汽车效率的研究主要集中在电池自主性以及逆变器和电动机的效率上。严格的汽车安全和质量....
    的头像 王秀兰 发表于 08-09 08:02 57次 阅读
    基于人工智能的软开关减少损耗以扩展电动汽车的续航里程

    机器学习中最常见错误解决方案

    近日,软件架构师、数据科学家、Kaggle 大师 Agnis Liukis 撰写了一篇文章,他在文中....
    的头像 新机器视觉 发表于 08-08 16:56 473次 阅读

    关于蓝牙spec5.3中“白话”和“去白话

    今天分享的话题是在蓝牙spec5.3中有关于“白话”和“去白话”这一名词,做过这方面研究的相信都有所....
    的头像 city_prolove 发表于 08-08 16:40 123次 阅读

    Batch大小不一定是2的n次幂?

    其实就是矩阵A的第一行每个元素分别与B的第一列相乘再求和,得到C矩阵的第一个数,然后A矩阵的第一行再....
    的头像 city_prolove 发表于 08-08 16:29 94次 阅读

    新诞生的机器学习框架可以让你更加直观、轻松地拼完整个模型

    为了解决这两个挑战,研究人员提出了一个新的基于学习的框架,即 MEPNet(Manual-to-Ex....
    的头像 city_prolove 发表于 08-08 16:17 108次 阅读

    基于人工智能的AlphaFold蛋白质破解

    AI是一个能够利用现有的知识预测将来的工具,如果连现有的知识都是缺失状态,自然无法预测新结构。
    的头像 AI芯天下 发表于 08-08 14:14 76次 阅读

    全球首款中文人工智能基建芯片进入可量产阶段

    近日,中文人工智能基建先行者仿脑科技(深圳)有限公司(仿脑科技)接受《中国商报》采访时透露,其自主知....
    的头像 科技见闻网 发表于 08-08 12:59 252次 阅读
    全球首款中文人工智能基建芯片进入可量产阶段

    智能制造装备行业的发展趋势

    当前,5G、物联网、人工智能等新兴技术正逐渐渗透到企业生产经营的各个方面。智能制造装备在未来发展中,....
    的头像 新机器视觉 发表于 08-08 10:32 127次 阅读

    交互式人工智能(CAI)简介

    ASR是CAI流程的第一步,在这里语音被转录为文本。一旦文本可用,就可以使用自然语言处理(NLP)算....
    的头像 一汀烟雨666 发表于 08-07 09:29 231次 阅读
    交互式人工智能(CAI)简介

    基于人工智能的互联网群体知识图谱构造方法

    摘要 知识图谱是一种基于图的结构化知识表示方式。如何构造大规模高质量的知识图谱, 是研究和实践面临的....
    的头像 人工智能君 发表于 08-06 15:05 297次 阅读
    基于人工智能的互联网群体知识图谱构造方法

    关于边缘计算的100个知识点

    3G、4G、5G 第三代、第四代和第五代蜂窝技术。简单来说,3G 代表智能手机及其移动网络浏览器的引....
    的头像 li1234567890123 发表于 08-06 14:59 250次 阅读

    交互式人工智能(CAI)简介

    本篇白皮书详细介绍了自动语音识别(ASR)的应用场景,以及Achronix如何在实现ASR解决方案的....
    的头像 一汀烟雨666 发表于 08-05 16:42 173次 阅读
    交互式人工智能(CAI)简介

    常见的人工智能库简要全面的介绍

    OpenCV 是一个的跨平台计算机视觉库,可以运行在 Linux、Windows 和 Mac OS ....
    发表于 08-05 11:35 209次 阅读

    抽样在Python中是如何实现的

    今天来和大家聊聊抽样的几种常用方法,以及在Python中是如何实现的。
    的头像 city_prolove 发表于 08-05 10:59 124次 阅读

    人工智能对汽车行业的潜在影响 健康管理成智能手表趋势

    简讯:IDC最新报告显示,2021下半年中国商业智能软件市场规模为4.8亿美元,2021全年市场规模....
    的头像 大联大 发表于 08-05 10:53 383次 阅读

    弘和集团如何助力森林防火数字化

    今年,国家森林草原防灭火指挥部下发通知,当前严峻形势,严格执行森林草原火灾防控工作。国家森防指强调,....
    发表于 08-05 10:10 87次 阅读

    普渡机器人与hotwind热风合作打造全新时尚购物消费新体验

    在如今电商崛起以及疫情的影响下,传统零售业式微,数字化、智能化的运营将会成为一众品牌在市场站稳脚跟的....
    发表于 08-05 09:33 82次 阅读

    “昇腾万里”生态伙伴获华为认证并授牌 携手推动产业发展

    7月,2022中国算力大会期间,政产学研用等产业界代表齐聚以“共筑算力生态,共创数智未来”为主题的昇....
    的头像 华为计算 发表于 08-05 09:13 344次 阅读

    昇腾为我国AI产业持续发展提供源泉

    在互联网、城市、金融、运营商等行业的核心场景当中,平均能够实现95%以上的模型满足度,推理性能较业界....
    的头像 华为计算 发表于 08-05 09:06 388次 阅读

    什么是计算机视觉 AI计算机视觉的基本原理

    网络的迅速发展也令计算机视觉变得尤为重要。下图是2020年以来网络上新增数据量的走势图。灰色图形是结....
    发表于 08-04 17:26 131次 阅读

    YOLACT 和 YOLACT++如何解决实例分割的实时性问题

    在目标检测分支的基础上添加额外的head,该head针对每一个anchor都预测一个掩膜系数(mas....
    发表于 08-04 17:12 61次 阅读

    运营商级直流输入电源支持网络增长

    在过去几年中,电信、数据计算、存储和网络领域经历了指数级增长,这主要是由于云计算和互联网使用的广泛和....
    发表于 08-04 16:34 26次 阅读
    运营商级直流输入电源支持网络增长

    什么是交互式人工智能(AI)?Speedster7t架构如何实现更高的计算效率

    交互式人工智能(CAI)使用机器学习(ML)的子集深度学习(DL),通过机器实现语音识别、自然语言处....
    发表于 08-04 16:33 191次 阅读

    AI模型+曙光算力服务实现对开发环境的快速部署

    随着科技革命和产业转型浪潮的推进,人工智能赋能科学研究的趋势势不可挡,蛋白质科学首当其冲。借助AI颠....
    的头像 中科曙光 发表于 08-04 10:23 370次 阅读

    面向星群的遥感影像智能服务关键问题

    关键词:星群 智能服务 任务本体描述 任务规划 在轨处理  对地观测卫星在提高遥感信息自主获取能力,....
    的头像 恬静简朴1 发表于 08-04 10:15 461次 阅读
    面向星群的遥感影像智能服务关键问题

    AI人才薪酬水涨船高 有人却不喜欢人工智能

    随着人工智能技术的不断发展,可应用领域也越来越广,国内外AI人才的薪酬也是水涨船高。
    发表于 08-04 09:52 61次 阅读

    昇腾计算为人工智能产业持续发展提升原动力

    7月,首届中国算力大会在济南举行。大会现场,上海人工智能研究院执行院长宋海涛、华为昇腾计算业务总裁张....
    的头像 华为计算 发表于 08-04 09:12 207次 阅读

    踏歌智行获得国家级奖项“中国汽车工业科学技术发明一等奖”

    8月2日,《科创板日报》联合上海科学技术情报研究所(ISTIS)共同发布了“2022先锋科创家系列”....
    的头像 踏歌智行 发表于 08-04 09:08 355次 阅读

    《计算中心有效算力评测体系白皮书》正式发布

    2022年7月29日,中国算力大会在山东济南召开。由中国电子技术标准化研究院联合华为技术有限公司及鹏....
    的头像 华为计算 发表于 08-03 21:38 633次 阅读

    钢铁行业全流程质量管控实践案例

    搭建大数据平台,利用在线检测、机器学习、图像识别、数据建模等技术,实现质量过程监控与判定、表面质量智....
    的头像 智能制造IMS 发表于 08-03 15:58 168次 阅读

    一种支持快速部署、可任意定制生产场景的协作机器人焊接工艺包

    机器人焊接解决方案一般包括协作机器人、末端执行器、焊机、焊枪、线路单元、二维焊接平台、外置保护气、清....
    的头像 机器人创新生态 发表于 08-03 15:56 145次 阅读

    Microchip首款基于CXL的串行存储控制器

    数据中心应用工作负载需要未来的存储器产品能够提供与今天基于并行DDR的存储产品相同的高性能带宽、低延....
    的头像 Microchip微芯 发表于 08-03 15:52 148次 阅读

    fifa将采用半自动越位技术计算进球

    科技在各个领域都有用武之地,尤其是在体育运动中。最近,国际足联推出了一种系统,可以在未来的比赛中自动生成越位警报 令一些...
    发表于 08-02 21:36 1770次 阅读

    物联网电源集线器V1.0的资料分享

    描述 物联网电源集线器 V1.0,适用于物联网和机器学习设备的一体化电源解决方案。 主要特征: USB-C 电源输入超快...
    发表于 07-25 06:28 275次 阅读

    三分钟学习NCNN算法移植

    前言      本文是基于EASY EAI Nano移植NCNN部署库的方法与NCNN成功运行yolov4的Demo所做...
    发表于 07-18 18:21 891次 阅读
    三分钟学习NCNN算法移植

    九联科技Unionpi Tiger开发套件AI人工智能开发板使用说明书

    Unionpi Tiger(A311D)是一款应用于图像处理,音视频处理和深度学习等的智能硬件。其芯片拥有强大的CPU、GPU和神经网络...
    发表于 07-11 18:25 1235次 阅读

    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    ▌STM32中国线上技术周简介 在STM32诞生15周年之际,意法半导体将首次举办 “STM32中国线上技术周”。通过本次线上技...
    发表于 07-05 14:02 5490次 阅读
    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    【Sipeed M2 Dock开发板试用体验】给小车开开天眼

    一.前言 收到Sipeed M2 Dock开发板后,我就在想怎么做一个有趣的小作品,于是我就想到了做一个自动跟随的小车,我的车体采...
    发表于 07-03 23:44 1418次 阅读

    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    ▌STM32中国线上技术周简介 在STM32诞生15周年之际,意法半导体将首次举办 “STM32中国线上技术周”。通过本次线上技术...
    发表于 06-27 09:47 2372次 阅读
    【STM32中国线上技术周】聚焦五大主题、31场技术演讲、74个方案展示及答疑,全面展示STM32嵌入式技术创新和生态战略!

    基于RK3399 + RK1808的人工智能平台项目实战

    云计算与边缘计算 云计算 端侧仅负责发送输入数据,并接收计算结果 计算资源集中管理和分配,借助服务器的强大性能,可以实现...
    发表于 06-24 17:44 2423次 阅读

    RK1808计算棒Rock-X demo相关资料分享

    1、RK1808人工智能计算棒全平台RockX支持 Rock-X SDK是一组快捷AI组件库,支持RK3399Pro和RK1808平台。开发者仅...
    发表于 06-23 18:11 4247次 阅读

    TB-RK1808S0 AI 计算棒开发指南

    1、TB-RK1808S0 AI 计算棒开发介绍RK1808 人工智能计算棒是瑞芯微旗下 Toybrick 系列产品中的一员,计算棒搭载瑞芯微的...
    发表于 06-21 18:11 3751次 阅读