0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

探析从贝叶斯到深度学习及各自优缺点

mK5P_AItists 来源:cc 2019-02-17 09:56 次阅读

目录

正则化算法(Regularization Algorithms)

集成算法(Ensemble Algorithms)

决策树算法(Decision Tree Algorithm)

回归(Regression)

人工神经网络(Artificial Neural Network)

深度学习(Deep Learning)

支持向量机(Support Vector Machine)

降维算法(Dimensionality Reduction Algorithms)

聚类算法(Clustering Algorithms)

基于实例的算法(Instance-based Algorithms)

贝叶斯算法(Bayesian Algorithms)

关联规则学习算法(Association Rule Learning Algorithms)

图模型(Graphical Models)

正则化算法(Regularization Algorithms)

它是另一种方法(通常是回归方法)的拓展,这种方法会基于模型复杂性对其进行惩罚,它喜欢相对简单能够更好的泛化的模型。

例子:

岭回归(Ridge Regression)

最小绝对收缩与选择算子(LASSO)

GLASSO

弹性网络(Elastic Net)

最小角回归(Least-Angle Regression)

优点:

其惩罚会减少过拟合

总会有解决方法

缺点:

惩罚会造成欠拟合

很难校准

集成算法(Ensemble algorithms)

集成方法是由多个较弱的模型集成模型组,其中的模型可以单独进行训练,并且它们的预测能以某种方式结合起来去做出一个总体预测。

该算法主要的问题是要找出哪些较弱的模型可以结合起来,以及结合的方法。这是一个非常强大的技术集,因此广受欢迎。

Boosting

Bootstrapped Aggregation(Bagging)

AdaBoost

层叠泛化(Stacked Generalization)(blending)

梯度推进机(Gradient Boosting Machines,GBM)

梯度提升回归树(Gradient Boosted Regression Trees,GBRT)

随机森林(Random Forest)

优点:

当先最先进的预测几乎都使用了算法集成。它比使用单个模型预测出来的结果要精确的多

缺点:

需要大量的维护工作

决策树算法(Decision Tree Algorithm)

决策树学习使用一个决策树作为一个预测模型,它将对一个 item(表征在分支上)观察所得映射成关于该 item 的目标值的结论(表征在叶子中)。

树模型中的目标是可变的,可以采一组有限值,被称为分类树;在这些树结构中,叶子表示类标签,分支表示表征这些类标签的连接的特征。

例子:

分类和回归树(Classification and Regression Tree,CART)

Iterative Dichotomiser 3(ID3)

C4.5 和 C5.0(一种强大方法的两个不同版本)

优点:

容易解释

参数

缺点:

趋向过拟合

可能或陷于局部最小值中

没有在线学习

回归(Regression)算法

回归是用于估计两种变量之间关系的统计过程。当用于分析因变量和一个 多个自变量之间的关系时,该算法能提供很多建模和分析多个变量的技巧。具体一点说,回归分析可以帮助我们理解当任意一个自变量变化,另一个自变量不变时,因变量变化的典型值。最常见的是,回归分析能在给定自变量的条件下估计出因变量的条件期望。

回归算法是统计学中的主要算法,它已被纳入统计机器学习

例子:

普通最小二乘回归(Ordinary Least Squares Regression,OLSR)

线性回归(Linear Regression)

逻辑回归(Logistic Regression)

逐步回归(Stepwise Regression)

多元自适应回归样条(Multivariate Adaptive Regression Splines,MARS

本地散点平滑估计(Locally Estimated Scatterplot Smoothing,LOESS)

优点:

直接、快速

知名度高

缺点:

要求严格的假设

需要处理异常值

人工神经网络

人工神经网络是受生物神经网络启发而构建的算法模型。

它是一种模式匹配,常被用于回归和分类问题,但拥有庞大的子域,由数百种算法和各类问题的变体组成。

例子:

感知器

反向传播

Hopfield 网络

径向基函数网络(Radial Basis Function Network,RBFN)

优点:

在语音、语义、视觉、各类游戏(如围棋)的任务中表现极好。

算法可以快速调整,适应新的问题。

缺点:

需要大量数据进行训练

训练要求很高的硬件配置

模型处于「黑箱状态」,难以理解内部机制

元参数(Metaparameter)与网络拓扑选择困难。

深度学习(Deep Learning)

深度学习是人工神经网络的最新分支,它受益于当代硬件的快速发展。

众多研究者目前的方向主要集中于构建更大、更复杂的神经网络,目前有许多方法正在聚焦半监督学习问题,其中用于训练的大数据集只包含很少的标记。

例子:

深玻耳兹曼机(Deep Boltzmann Machine,DBM)

Deep Belief Networks(DBN)

卷积神经网络(CNN)

Stacked Auto-Encoders

优点/缺点:见神经网络

支持向量机(Support Vector Machines)

给定一组训练事例,其中每个事例都属于两个类别中的一个,支持向量机(SVM)训练算法可以在被输入新的事例后将其分类到两个类别中的一个,使自身成为非概率二进制线性分类器。

SVM 模型将训练事例表示为空间中的点,它们被映射到一幅图中,由一条明确的、尽可能宽的间隔分开以区分两个类别。

随后,新的示例会被映射到同一空间中,并基于它们落在间隔的哪一侧来预测它属于的类别。

优点:

在非线性可分问题上表现优秀

缺点:

非常难以训练

很难解释

降维算法(Dimensionality Reduction Algorithms)

和集簇方法类似,降维追求并利用数据的内在结构,目的在于使用较少的信息总结或描述数据。

这一算法可用于可视化高维数据或简化接下来可用于监督学习中的数据。许多这样的方法可针对分类和回归的使用进行调整。

例子:

主成分分析(Principal Component Analysis (PCA))

主成分回归(Principal Component Regression (PCR))

偏最小二乘回归(Partial Least Squares Regression (PLSR))

Sammon 映射(Sammon Mapping)

多维尺度变换(Multidimensional Scaling (MDS))

投影寻踪(Projection Pursuit)

线性判别分析(Linear Discriminant Analysis (LDA))

混合判别分析(Mixture Discriminant Analysis (MDA))

二次判别分析(Quadratic Discriminant Analysis (QDA))

灵活判别分析(Flexible Discriminant Analysis (FDA))

优点:

可处理大规模数据集

无需在数据上进行假设

缺点:

难以搞定非线性数据

难以理解结果的意义

聚类算法(Clustering Algorithms)

聚类算法是指对一组目标进行分类,属于同一组(亦即一个类,cluster)的目标被划分在一组中,与其他组目标相比,同一组目标更加彼此相似(在某种意义上)。

例子:

K-均值(k-Means)

k-Medians 算法

Expectation Maximi 封层 ation (EM)

最大期望算法(EM)

分层集群(Hierarchical Clstering)

优点:

让数据变得有意义

缺点:

结果难以解读,针对不寻常的数据组,结果可能无用。

基于实例的算法(Instance-based Algorithms)

基于实例的算法(有时也称为基于记忆的学习)是这样学 习算法,不是明确归纳,而是将新的问题例子与训练过程中见过的例子进行对比,这些见过的例子就在存储器中。

之所以叫基于实例的算法是因为它直接从训练实例中建构出假设。这意味这,假设的复杂度能随着数据的增长而变化:最糟的情况是,假设是一个训练项目列表,分类一个单独新实例计算复杂度为 O(n)

例子:

K 最近邻(k-Nearest Neighbor (kNN))

学习向量量化(Learning Vector Quantization (LVQ))

自组织映射(Self-Organizing Map (SOM))

局部加权学习(Locally Weighted Learning (LWL))

优点:

算法简单、结果易于解读

缺点:

内存使用非常高

计算成本高

不可能用于高维特征空间

贝叶斯算法(Bayesian Algorithms)

贝叶斯方法是指明确应用了贝叶斯定理来解决如分类和回归等问题的方法。

例子:

朴素贝叶斯(Naive Bayes)

高斯朴素贝叶斯(Gaussian Naive Bayes)

多项式朴素贝叶斯(Multinomial Naive Bayes)

平均一致依赖估计器(Averaged One-Dependence Estimators (AODE))

贝叶斯信念网络(Bayesian Belief Network (BBN))

贝叶斯网络(Bayesian Network (BN))

优点:

快速、易于训练、给出了它们所需的资源能带来良好的表现

缺点:

如果输入变量是相关的,则会出现问题

关联规则学习算法(Association Rule Learning Algorithms)

关联规则学习方法能够提取出对数据中的变量之间的关系的最佳解释。比如说一家超市的销售数据中存在规则 {洋葱,土豆}=> {汉堡},那说明当一位客户同时购买了洋葱和土豆的时候,他很有可能还会购买汉堡肉。

例子:

Apriori 算法(Apriori algorithm)

Eclat 算法(Eclat algorithm)

FP-growth

图模型(Graphical Models)

图模型或概率图模型(PGM/probabilistic graphical model)是一种概率模型,一个图(graph)可以通过其表示随机变量之间的条件依赖结构(conditional dependence structure)。

例子:

贝叶斯网络(Bayesian network)

马尔可夫随机域(Markov random field)

链图(Chain Graphs)

祖先图(Ancestral graph)

优点:

模型清晰,能被直观地理解

缺点:

确定其依赖的拓扑很困难,有时候也很模糊

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 机器学习
    +关注

    关注

    66

    文章

    8122

    浏览量

    130557
  • 深度学习
    +关注

    关注

    73

    文章

    5237

    浏览量

    119908

原文标题:机器学习算法集锦:从贝叶斯到深度学习及各自优缺点

文章出处:【微信号:AItists,微信公众号:人工智能学家】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Systick到底是用作延时好还是用作定时好?都有什么优缺点

    功能,作基础定时用,而不建议用作延时功能,方便后面程序移植. 最好有个定论,方便后面程序的移植,不能各自各自的,一个公司里面写程序的风格和标准需要统一。 想问下各位,Systick到底是用作延时好?还是用作定时好,都有什么优缺点
    发表于 04-08 07:37

    SD-WAN网络与传统网络的区别及各自优缺点

    SD-WAN网络与传统网络的区别及各自优缺点  SD-WAN是一种新兴的网络技术,它与传统网络相比有许多区别与优点。在本文中,我们将详尽、详实、细致地探讨SD-WAN网络与传统网络之间的区别以及
    的头像 发表于 03-27 16:23 198次阅读

    请问Arduino与树莓派相比各自有什么优缺点

    玩过arduino,想入手树莓派了。想问下这两者的优缺点
    发表于 11-07 07:53

    雷击浪涌防护器件各自优缺点

    雷击浪涌防护器件各自优缺点 雷击浪涌防护器件是电气设备中的重要组成部分,可以帮助保护设备免受遭受雷击、电磁脉冲和浪涌等电气干扰的影响。这些器件能够通过吸收、抑制、反射和引导等方式来限制不良电气
    的头像 发表于 10-30 09:46 388次阅读

    CML型比较器和StrongArm型比较器的优缺点是什么?

    电路所需的比较功能,而不是使用连续的信号来实现。Regeneration型比较器、CML型比较器和StrongArm型比较器是常见的比较器类型,每种类型有其各自优缺点。在本文中,我们将深入探讨这三种
    的头像 发表于 09-17 17:11 1735次阅读

    深度学习和机器学习的定义和优缺点 深度学习和机器学习的区别

      深度学习和机器学习是机器学习领域中两个重要的概念,都是人工智能领域非常热门的技术。两者的关系十分密切,然而又存在一定的区别。下面从定义、优缺点
    发表于 08-21 18:27 2158次阅读

    开关电源与线性电源的优缺点

    开关电源与线性电源的优缺点 随着科技的不断发展,电源的应用和选用越来越多,而比较常见的开关电源和线性电源则成为了我们不得不区分和选择的两种电源。它们有各自的特点和优缺点,本文将从三个方面分别探讨
    的头像 发表于 08-18 14:06 3904次阅读

    机器学习算法总结 机器学习算法是什么 机器学习算法优缺点

    机器学习算法总结 机器学习算法是什么?机器学习算法优缺点? 机器学习算法总结 机器学习算法是一种
    的头像 发表于 08-17 16:11 1074次阅读

    深度学习算法的选择建议

    常重要的。本文将提供一些选择建议,以及如何决定使用哪种框架和算法。 首先,选择框架。目前,深度学习领域最流行和使用最广泛的框架有TensorFlow、PyTorch、Keras和Caffe。以下是每个框架的优缺点: Tensor
    的头像 发表于 08-17 16:11 385次阅读

    球阀,蝶阀,止回阀,闸阀四种阀门的优缺点

    阀门的类型有很多种,每种都有各自优缺点,下面小编就列举五大阀门优缺点,包括闸阀、蝶阀、球阀、截止阀和旋塞阀,希望对您有所帮助。
    发表于 08-11 11:47 659次阅读

    贝叶斯分类器与学习(2)#机器学习

    机器学习
    未来加油dz
    发布于 :2023年07月14日 17:11:55

    贝叶斯分类器与学习(1)#机器学习

    机器学习
    未来加油dz
    发布于 :2023年07月14日 17:10:54

    决策论#机器学习

    机器学习
    未来加油dz
    发布于 :2023年07月14日 17:09:53

    共地和分地的优缺点

    共地与分地并没有硬性规定,可以按需求自己设计。这里归纳一下他们的优缺点。 分地不容易短路。但是地与地与正极与负载之间容易形成电压差。形成奇怪的故障现象。 共地,拥有稳定的二进制表现,即稳定的直流表现
    发表于 06-27 16:48

    航空用电源系统优缺点对比

    目前,航空用电源系统的种类很多。此次,吉事励电源厂家详细介绍了这几种飞机电源系统的基本概况和发展历史,并结合代表机型分析了各自的特点,探讨和比较了各自优缺点
    的头像 发表于 05-06 17:14 1396次阅读
    航空用电源系统<b class='flag-5'>优缺点</b>对比