0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

如何解决数据稀疏而对深度学习的影响问题?详细方法概述

MqC7_CAAI_1981 来源:未知 作者:易水寒 2018-08-12 11:49 次阅读

深度学习,有太多令人惊叹的能力!从12年的图像识别开始,深度学习的一个个突破,让人们一次又一次的刷新对它的认知。然而,应用深度学习,一直有一个巨大的前提:大量标注数据。但是难道数据少,就享受不到深度学习带来的红利了么?近日来自卡内基梅隆大学、亚马逊研究院、加州理工学院的研究员,在人工智能顶级会议 UAI 上阐述了多种方法,尝试缓解甚至解决数据稀疏对深度学习的影响。

主要方法

为了解决深度学习数据少,和数据稀疏, 目前业界的主流方法有一下5种:

数据增广

半监督学习

迁移学习

领域自适应

主动学习

下面,我们对这5种方式进行一个简单的介绍,详细的介绍.

数据增广

数据增广,主要是想,对现有的数据,添加噪声等各种其他变换,从而产生一些有意义的数据,是的数据集增加,从而解决数据稀疏的问题,提升模型性能。 特别的,如图所示,Zachary Lipton 介绍了近期他的一个工作:利用 GAN来做图像数据增广。

半监督学习

半监督学习的情形是指:我们拥有少量的标注样本(图中橘色部分)以及大量的未标注样本(图中蓝色部分)。

半监督学习,一般的思路是:在全部数据上去学习数据表示,在有标签的样本上去学习模型,用所有数据去加正则。

迁移学习

迁移学习,主要是想,在一个拥有大量样本的数据(图中蓝色部分)上去学习模型,在改动较少的情况下,将学习到的模型迁移到类似的目标数据(图中橘色部分)和任务上。

领域自适应

领域自适应,主要是想,在已有的标注数据p(x,y)上学习模型, 然后尝试在另一个分布上q(x,y)上去做应用。

主动学习

主动学习,维护了两个部分:学习引擎和选择引擎。学习引擎维护一个基准分类器,并使用监督学习算法对系统提供的已标注样例进行学习从而使该分类器的性能提高,而选择引擎负责运行样例选择算法选择一个未标注的样例并将其交由人类专家进行标注,再将标注后的样例加入到已标注样例集中。学习引擎和选择引擎交替工作,经过多次循环,基准分类器的性能逐渐提高,当满足预设条件时,过程终止。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 图像识别
    +关注

    关注

    8

    文章

    443

    浏览量

    37824
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1728

    浏览量

    67098
  • 深度学习
    +关注

    关注

    73

    文章

    5191

    浏览量

    119785

原文标题:数据少,就享受不到深度学习的红利了么?总是有办法的!

文章出处:【微信号:CAAI-1981,微信公众号:中国人工智能学会】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    基于深度学习的三维点云配准方法

    基于深度学习的三维点云配准方法成为研究的主流,并随之诞生了DeepVCP、DGR、Predator等著名的方法
    发表于 11-29 11:41 1327次阅读

    基于稀疏编码的迁移学习及其在行人检测中的应用

    一定进展,但大都需要大量的训练数据.针对这一问题,提出了一种基于迁移学习的半监督行人分类方法:首先基于稀疏编码,从任意的未标记样本中,学习
    发表于 04-24 09:48

    深度学习数据挖掘的关系

    深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合
    发表于 07-04 16:07

    利用ECS进行深度学习详细攻略

    ECS:利用ECS进行深度学习详细攻略
    发表于 12-24 11:47

    稀疏表示和字典学习是什么

    稀疏表示和字典学习的简单理解
    发表于 08-27 14:44

    基于深度学习的异常检测的研究方法

    异常检测的深度学习研究综述原文:arXiv:1901.03407摘要异常检测是一个重要的问题,在不同的研究领域和应用领域都得到了很好的研究。本文的研究目的有两个:首先,我们对基于深度学习
    发表于 07-12 07:10

    基于深度学习的异常检测的研究方法

    ABSTRACT1.基于深度学习的异常检测的研究方法进行结构化和全面的概述2.回顾这些方法在各个领域这个中的应用情况,并评估他们的有效性。3
    发表于 07-12 06:36

    什么是深度学习?使用FPGA进行深度学习的好处?

    ,即使使用具有一定低位宽的数据深度学习推理也不会降低最终精度。目前据说8位左右可以提供稳定的准确率,但最新的研究表明,已经出现了即使降低到4位或2位也能获得很好准确率的模型和学习方法
    发表于 02-17 16:56

    深度学习在IoT大数据和流分析中的应用

    这篇论文对于使用深度学习来改进IoT领域的数据分析和学习方法进行了详细的综述。
    的头像 发表于 03-01 11:05 7451次阅读
    <b class='flag-5'>深度</b><b class='flag-5'>学习</b>在IoT大<b class='flag-5'>数据</b>和流分析中的应用

    Apache Spark的分布式深度学习框架BigDL的概述

    该视频概述了Apache Spark *的BigDL分布式深度学习框架。
    的头像 发表于 10-30 06:41 2942次阅读

    如何使用极端学习机进行人脸特征深度稀疏自编码的详细方法概述

    人脸图像的稀疏特征;其次,利用极端学习机自编码器( ELM-AE)模型进行人脸特征的自编码,实现数据维度的降低以及噪声过滤;最后,通过经验风险极小化得到最优的深度结构。在ORL、IMM
    发表于 11-27 16:02 3次下载
    如何使用极端<b class='flag-5'>学习</b>机进行人脸特征<b class='flag-5'>深度</b><b class='flag-5'>稀疏</b>自编码的<b class='flag-5'>详细</b><b class='flag-5'>方法</b><b class='flag-5'>概述</b>

    NLP中的深度学习技术概述

    该项目是对基于深度学习的自然语言处理(NLP)的概述,包括用来解决不同 NLP 任务和应用的深度学习模型(如循环神经网络、卷积神经网络和强化
    的头像 发表于 03-01 09:13 4422次阅读
    NLP中的<b class='flag-5'>深度</b><b class='flag-5'>学习</b>技术<b class='flag-5'>概述</b>

    什么?不用GPU也能加速你的YOLOv3深度学习模型

    你还在为神经网络模型里的冗余信息烦恼吗? 或者手上只有CPU,对一些只能用昂贵的GPU建立的深度学习模型“望眼欲穿”吗? 最近,创业公司Neural Magic带来了一种名叫新的稀疏方法
    的头像 发表于 06-10 15:33 1968次阅读
    什么?不用GPU也能加速你的YOLOv3<b class='flag-5'>深度</b><b class='flag-5'>学习</b>模型

    稀疏滤色器图案概述

    稀疏滤色器图案概述
    发表于 11-15 20:35 0次下载
    <b class='flag-5'>稀疏</b>滤色器图案<b class='flag-5'>概述</b>

    深度学习的由来 深度学习的经典算法有哪些

    深度学习作为机器学习的一个分支,其学习方法可以分为监督学习和无监督学习。两种
    发表于 10-09 10:23 284次阅读
    <b class='flag-5'>深度</b><b class='flag-5'>学习</b>的由来 <b class='flag-5'>深度</b><b class='flag-5'>学习</b>的经典算法有哪些