0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深度学习聚类的综述

颖脉Imgtec 2023-01-13 11:11 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

作者:凯鲁嘎吉

来源:博客园


这篇文章对现有的深度聚类算法进行全面综述与总结。现有的深度聚类算法大都由聚类损失与网络损失两部分构成,博客从两个视角总结现有的深度聚类算法,即聚类模型与神经网络模型。

1. 什么是深度聚类?

经典聚类即数据通过各种表示学习技术以矢量化形式表示为特征。随着数据变得越来越复杂和复杂,浅层(传统)聚类方法已经无法处理高维数据类型。为了解决该问题,深度聚类的概念被提出,即联合优化表示学习和聚类。a93d5d88-9194-11ed-ad0d-dac502259ad0.png

2. 从两个视角看深度聚类

a94bb7f2-9194-11ed-ad0d-dac502259ad0.png

3. 从聚类模型看深度聚类

3.1 基于K-means的深度聚类

a95cb32c-9194-11ed-ad0d-dac502259ad0.png参考:聚类——K-means - 凯鲁嘎吉 - 博客园

3.2 基于谱聚类的深度聚类

a975ad32-9194-11ed-ad0d-dac502259ad0.png参考:多视图子空间聚类/表示学习(Multi-view Subspace Clustering/Representation Learning),关于“On the eigenvectors of p-Laplacian”目标函数的优化问题- 凯鲁嘎吉 - 博客园

3.3基于子空间聚类(Subspace Clustering, SC)的深度聚类

a9cad28a-9194-11ed-ad0d-dac502259ad0.png

参考:深度多视图子空间聚类,多视图子空间聚类/表示学习(Multi-view Subspace Clustering/Representation Learning),字典更新与 K-SVD - 凯鲁嘎吉 - 博客园

3.4基于高斯混合模型(Gaussian Mixture Model, GMM)的深度聚类

a9dfb4ac-9194-11ed-ad0d-dac502259ad0.png

参考:聚类——GMM,基于图嵌入的高斯混合变分自编码器的深度聚类(Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG)- 凯鲁嘎吉 - 博客园

3.5基于互信息的深度聚类

a9f06a86-9194-11ed-ad0d-dac502259ad0.png

参考:COMPLETER: 基于对比预测的缺失视图聚类方法,Meta-RL——Decoupling Exploration and Exploitation for Meta-Reinforcement Learning without Sacrifices - 凯鲁嘎吉 - 博客园

3.6 基于KL的深度聚类

aa0e7436-9194-11ed-ad0d-dac502259ad0.png

参考:Deep Clustering Algorithms ,关于“Unsupervised Deep Embedding for Clustering Analysis”的优化问题,结构深层聚类网络,具有协同训练的深度嵌入多视图聚类- 凯鲁嘎吉 -博客园

4.从神经网络模型看深度聚类

4.1基于自编码器(AutoEncoder, AE)的深度聚类

aa1ee104-9194-11ed-ad0d-dac502259ad0.png参考:Deep Clustering Algorithms - 凯鲁嘎吉 - 博客园 (DEC, IDEC, DFKM, DCEC)

4.2基于变分自编码器(Variational AutoEncoder, VAE)的深度聚类

aa300f4c-9194-11ed-ad0d-dac502259ad0.png

参考:变分推断与变分自编码器,变分深度嵌入(Variational Deep Embedding, VaDE),基于图嵌入的高斯混合变分自编码器的深度聚类(Deep Clustering by Gaussian Mixture Variational Autoencoders with Graph Embedding, DGG),元学习——Meta-Amortized Variational Inference and Learning,RL——Deep Reinforcement Learning amidst Continual/Lifelong Structured Non-Stationarity - 凯鲁嘎吉 - 博客园

4.3基于生成对抗网络(Generative Adversarial Network, GAN)的深度聚类

aa4322f8-9194-11ed-ad0d-dac502259ad0.png参考:生成对抗网络(GAN与W-GAN),ClusterGAN: 生成对抗网络中的潜在空间聚类,双层优化问题:统一GAN,演员-评论员与元学习方法(Bilevel Optimization Problem unifies GAN, Actor-Critic, and Meta-Learning Methods)- 凯鲁嘎吉 - 博客园

4.4基于孪生网络(Siamese Neural Network)/对比学习(Contrastive Learning)的深度聚类

aa5373c4-9194-11ed-ad0d-dac502259ad0.png参考:从对比学习(Contrastive Learning)到对比聚类(Contrastive Clustering),COMPLETER: 基于对比预测的缺失视图聚类方法- 凯鲁嘎吉 - 博客园

4.5基于图神经网络(Graph Neural Network)的深度聚类

aa62cc0c-9194-11ed-ad0d-dac502259ad0.png

参考:结构深层聚类网络 - 凯鲁嘎吉 -博客园

参考文献

[1]第40期:基于深度神经网络的聚类算法——郭西风

[2]物以类聚人以群分:聚类分析的一些挑战和进展-凯鲁嘎吉-博客园

[3] A Survey of Deep Clustering Algorithms -凯鲁嘎吉-博客园

[4] Deep Clustering | Deep Learning Notes

[5]郭西风.基于深度神经网络的图像聚类算法研究[D].国防科技大学,2020.

作者:凯鲁嘎吉

出处:http://www.cnblogs.com/kailugaji/

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 深度学习
    +关注

    关注

    73

    文章

    5590

    浏览量

    123890
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    如何深度学习机器视觉的应用场景

    深度学习视觉应用场景大全 工业制造领域 复杂缺陷检测:处理传统算法难以描述的非标准化缺陷模式 非标产品分类:对形状、颜色、纹理多变的产品进行智能分类 外观质量评估:基于学习的外观质量标准判定 精密
    的头像 发表于 11-27 10:19 43次阅读

    如何在机器视觉中部署深度学习神经网络

    图 1:基于深度学习的目标检测可定位已训练的目标类别,并通过矩形框(边界框)对其进行标识。 在讨论人工智能(AI)或深度学习时,经常会出现“神经网络”、“黑箱”、“标注”等术语。这些概
    的头像 发表于 09-10 17:38 675次阅读
    如何在机器视觉中部署<b class='flag-5'>深度</b><b class='flag-5'>学习</b>神经网络

    深度学习对工业物联网有哪些帮助

    深度学习作为人工智能的核心分支,通过模拟人脑神经网络的层级结构,能够自动从海量工业数据中提取复杂特征,为工业物联网(IIoT)提供了从数据感知到智能决策的全链路升级能力。以下从技术赋能、场景突破
    的头像 发表于 08-20 14:56 753次阅读

    自动驾驶中Transformer大模型会取代深度学习吗?

    [首发于智驾最前沿微信公众号]近年来,随着ChatGPT、Claude、文心一言等大语言模型在生成文本、对话交互等领域的惊艳表现,“Transformer架构是否正在取代传统深度学习”这一话题一直被
    的头像 发表于 08-13 09:15 3910次阅读
    自动驾驶中Transformer大模型会取代<b class='flag-5'>深度</b><b class='flag-5'>学习</b>吗?

    嵌入式AI技术之深度学习:数据样本预处理过程中使用合适的特征变换对深度学习的意义

      作者:苏勇Andrew 使用神经网络实现机器学习,网络的每个层都将对输入的数据做一次抽象,多层神经网络构成深度学习的框架,可以深度理解数据中所要表示的规律。从原理上看,使用
    的头像 发表于 04-02 18:21 1277次阅读

    无桥PFC变换器综述

    拓扑的发展历程进行了全面综述,并将无桥 PFC 变换器拓扑合成方案分为三大,分别进行了详细介绍。最后,给出了无桥变换器拓扑的发展方向。 关键词:无桥 PFC 变换器;双极性增益;Boost 变换器
    发表于 03-13 13:50

    在OpenVINO™工具套件的深度学习工作台中无法导出INT8模型怎么解决?

    无法在 OpenVINO™ 工具套件的深度学习 (DL) 工作台中导出 INT8 模型
    发表于 03-06 07:54

    如何排除深度学习工作台上量化OpenVINO™的特定层?

    无法确定如何排除要在深度学习工作台上量化OpenVINO™特定层
    发表于 03-06 07:31

    《AI Agent 应用与项目实战》----- 学习如何开发视频应用

    再次感谢发烧友提供的阅读体验活动。本期跟随《AI Agent 应用与项目实战》这本书学习如何构建开发一个视频应用。AI Agent是一种智能应用,能够根据用户需求和环境变化做出相应响应。通常基于深度
    发表于 03-05 19:52

    灵汐科技开源深度学习应用开发平台BIDL

    富案例等问题,一直制约着其广泛应用。为了突破这一瓶颈,灵汐科技联合脑启社区正式宣布开源深度学习应用开发平台BIDL(Brain-inspired Deep Learning)。
    的头像 发表于 03-05 09:13 1465次阅读
    灵汐科技开源<b class='flag-5'>类</b>脑<b class='flag-5'>深度</b><b class='flag-5'>学习</b>应用开发平台BIDL

    SLAMTEC Aurora:把深度学习“卷”进机器人日常

    在人工智能和机器人技术飞速发展的今天,深度学习与SLAM(同步定位与地图构建)技术的结合,正引领着智能机器人行业迈向新的高度。最近科技圈顶流DeepSeek简直杀疯了!靠着逆天的深度学习
    的头像 发表于 02-19 15:49 721次阅读

    军事应用中深度学习的挑战与机遇

    人工智能尤其是深度学习技术的最新进展,加速了不同应用领域的创新与发展。深度学习技术的发展深刻影响了军事发展趋势,导致战争形式和模式发生重大变化。本文将概述
    的头像 发表于 02-14 11:15 818次阅读

    BP神经网络与深度学习的关系

    BP神经网络与深度学习之间存在着密切的关系,以下是对它们之间关系的介绍: 一、BP神经网络的基本概念 BP神经网络,即反向传播神经网络(Backpropagation Neural Network
    的头像 发表于 02-12 15:15 1338次阅读

    数据降维工具介绍——SpatialPCA

    现有常用的空间转录组降维方法,如主成分分析(principal component analysis,PCA)、非负矩阵分解(non-negative matrix factorization
    的头像 发表于 02-07 11:19 1048次阅读
    数据降维<b class='flag-5'>聚</b><b class='flag-5'>类</b>工具介绍——SpatialPCA

    AI自动化生产:深度学习在质量控制中的应用

    随着科技的飞速发展,人工智能(AI)与深度学习技术正逐步渗透到各个行业,特别是在自动化生产中,其潜力与价值愈发凸显。深度学习软件不仅使人工和基于规则的算法难以胜任的大量生产任务得以自动
    的头像 发表于 01-17 16:35 1208次阅读
    AI自动化生产:<b class='flag-5'>深度</b><b class='flag-5'>学习</b>在质量控制中的应用