0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

研究人员们提出了PBA的方法来获取更为有效的数据增强策略

nlfO_thejiangme 来源:lq 2019-08-02 15:56 次阅读

近年来深度学习模型的飞速发展离不开庞大的数据体量和多样化的数据收集。收集大量的、丰富的数据是十分耗时耗力的工作,而数据增强则为研究人员们提供了另一种增加数据多样性的可能,无需真正收集数据即可得到较为丰富多样的训练数据。来自伯克利的研究人员们提出了PBA(Population Based Augmentation)的方法来获取更为有效的数据增强策略,并在实现同样效果下实现了1000x的加速。

数据增强

数据增强策略通常包括剪切、填充、翻转和旋转等,但这些基本策略对于深度网络的训练还是太简单,在对于数据增强策略和种类的研究相较于神经网络的研究还是太少了。

一些常见的数据增强方法

最近谷歌针对这方面进行了深入的探索性的研究,提出了AutoAugment方法并在CIFAR-10数据集上取得了很好的成果。

这篇论文利用了强化学习等方法来搜索更好的数据增强策略,基于RNN的控制器从搜索空间中预测增强策略,而一个固定架构的子网络则用于在增强的数据上进行训练收敛到精度R,最后利用精度R来作为奖励使得控制器寻求更好的数据增强策略。

AutoAugment引入了16种几何、色彩变换并从中选择两种以固定的幅度来对每一批数据进行增强,所以高性能的增强方法可以通过强化学习直接由模型从数据中学习到。但这种方法的弊端在于它需要训练一万五千个模型到收敛,以便为强化学习模型收集足够的样本来学习数据增强策略。在样本间的计算不能共享,使得它要耗费15000个P100计算时来在ImageNet上实现较好的效果,即使在较小的CIFAR-10上也要消耗5000个GPU时(这意味着需要7500-37500美元的训练费用才能得到较好的数据增强策略)。如果可以将先前训练的策略迁移或共享到新的训练中去,就能更高效地实现数据增强策略的搜索与获取。

PBA算法

为了提高算法的效率,来自伯克利的研究人员提出了PBA算法,可以在比原算法少三个数量级的计算上获得相同的测试精度。

与AutoAugment不同,这种方法在多个小模型的副本上训练CIFAR-10数据集,只需要在Titan XP上训练5小时即可得到较好的数据增强策略,这一策略应用到CIFAR-100,并重新训练一个较大的网络可以获得十分有效的效果。与先前需要很多天的训练相比,这种方法耗时更短且得到的效果更好。

与AutoAugment相比,新方法给出的数据增强策略在不同模型上的表现。

研究人员从DeepMind的Population Based Training算法中借鉴了一些思想,并将其应用在了数据增强策略的生成上,将训练中当前的结果作为生成策略的基础,使得训练的结果可以在不同子模型中共享,避免耗时的重复训练。

这一改进使得通常的工作站也可以训练大型的数据增强策略算法。与AutoAugment不同,这一方法生成了一个策略调度方法而不是一个固定的策略。这意味着,在某个训练周期,PBA生成的数据增强策略是法f(x,t),其中x是输入图像,t为当前的训练周期。而AutoAugment则会在不同的子模型上生成固定的策略fi(x)。

研究人员利用了16个小的WideResNet,每一个会学习出不同的超参数计划,而其中表现最好的调度将会被用于训练大型的模型,并从中得出最后的测试错误率。

Population Based Training方法,首先将一系列小模型用于发现超参数,而后将表现最好的模型权重(exploit)与随机搜索结合起来(explore)。这些小模型首先在目标数据集上从零开始训练,随后通过将高性能的超参数复制到表现欠佳的模型上实现训练过程的复用,而后利用超参数的扰动来实现随机探索,以获取更好的表现。

通过这样的方法,研究人员得以共享不同模型间的计算,并共享不同训练阶段得到的不同的目标超参数。PBA算法通过这一手段避免了需要训练上千个模型才能获得高性能数据增强策略的冗长过程。下图显示了研究人员获取的数据增强策略:

研究人员还提供了源码和使用实例,如果想要给自己的数据集学习出合适的数据增强策略,可以在TUNE框架下进行,只需要简单的定义新的数据加载器即可使用。详情请参考代码:

https://github.com/arcelien/pba

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 控制器
    +关注

    关注

    112

    文章

    15018

    浏览量

    170332
  • 神经网络
    +关注

    关注

    42

    文章

    4538

    浏览量

    98424
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803

原文标题:1000倍提速!伯克利提出新的数据增强策略训练方法,更好更快扩充数据

文章出处:【微信号:thejiangmen,微信公众号:将门创投】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    微电子所在阻变存储器研究中取得新进展

    。基于TCAD的模拟结果,该课题组研究人员通过在下电极上生长金属纳米晶的方法来增强功能层薄膜中的局域电场。通过研究Ag/ZrO2/Cu NC/Pt原型器件的电阻转变特性验证了这种
    发表于 12-29 15:13

    美国普渡大学和哈佛大学的研究人员出了一项新发明 新...

    据物理学家组织网报道,美国普渡大学和哈佛大学的研究人员出了一项极为应景的新发明:一种外形如同一颗圣诞树一样的新型晶体管,其重要组件“门”(栅极)的长度缩减到了突破性的20纳米。这个被称为“4维
    发表于 02-03 20:30

    泰克仪器助力研究人员首次通过太赫兹复用器实现超高速数据传输

    速度越来越快,研究人员正在寻找使用更大容量传输数据的高频THz波的方法。领先的团队之一是美国布朗大学与法国里尔国立大学(CNEM)的微电子及纳米技术研究所(IEMN)的国际合作。该国际
    发表于 08-31 15:58

    研究人员提出了一种柔性可拉伸扩展的多功能集成传感器阵列

    研究人员提出了一种柔性可拉伸扩展的多功能集成传感器阵列,成功将电子皮肤的探测能力扩展到7种,实现温度、湿度、紫外光、磁、应变、压力和接近等多种外界刺激的实时同步监测。
    的头像 发表于 01-24 15:15 6881次阅读
    <b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b>一种柔性可拉伸扩展的多功能集成传感器阵列

    斯坦福提出基于目标的策略强化学习方法——SOORL

    为了达到人类学习的速率,斯坦福的研究人员提出了一种基于目标的策略强化学习方法——SOORL,把重点放在对策略的探索和模型选择上。
    的头像 发表于 06-06 11:18 4997次阅读
    斯坦福<b class='flag-5'>提出</b>基于目标的<b class='flag-5'>策略</b>强化学习<b class='flag-5'>方法</b>——SOORL

    一种新方法来检测这些被操纵的换脸视频的“迹象”

    利用深度学习“换脸”合成假视频的技术发展之快令人惊叹,也令人深感不安。研究人员已经研究出一种新方法来检测这些被操纵的换脸视频,通过有效地预测眼睛的状态,准确率达到99%。
    的头像 发表于 07-03 09:48 5484次阅读

    斯坦福大学研究人员建立了一个名为Tabula Muris的开源数据

    研究人员挑选出各个器官(包括脑、心脏、胰腺和胸腺等)的细胞,然后开展单细胞RNA测序,以获取每个细胞的转录组。研究人员指出,FACS方法和微流体方法
    的头像 发表于 10-11 11:08 4531次阅读

    研究人员提出了一系列新的点云处理模块

    为了探索这些问题的解决办法、来自伦敦大学学院的研究人员提出了一系列新的点云处理模块,从效率、信息共享和点云卷积操作等方面进行了研究,得到了更宽、更深、更快效率更高的点云处理网络,让更深的点云深度学习模型成为可能。
    的头像 发表于 08-02 14:44 2729次阅读
    <b class='flag-5'>研究人员</b>们<b class='flag-5'>提出了</b>一系列新的点云处理模块

    研究人员提出了一种多尺度高效率的新模型FAMED-Net

    而基于学习的方法采用了数据驱动的方法来学习出图像特征和透射率之间的关系,克服了手工选取先验特征的不足。随着深度学习的方法,这种方法朝着更强大
    的头像 发表于 08-02 15:08 3435次阅读
    <b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b>一种多尺度高效率的新模型FAMED-Net

    Facebook的研究人员提出了Mesh R-CNN模型

    这一研究的目标是通过单张图像输入,对图像中的物体进行检测、获取不同物体的类别、掩膜和对应的三维网格,并对真实世界中的复杂模型进行有效处理。在2D深度网络的基础上,研究人员改进并
    的头像 发表于 08-02 15:51 3566次阅读
    Facebook的<b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b>Mesh R-CNN模型

    研究人员出了一种新的基于深度学习的策略

    苏黎世联邦理工学院的研究人员最近推出了一种新的基于深度学习的策略,该策略可以在不需要大量真实数据的情况下在机器人中实现触觉传感。在arXiv
    的头像 发表于 03-26 15:47 2393次阅读

    马来西亚研究人员提出一种评估光伏模块不同冷却系统有效性的新方法

    马来西亚多媒体大学研究人员发表的一篇新论文提供了一种评估光伏模块不同冷却系统有效性的新方法。所提出的技术依赖于在附加冷却的情况下测量模块的输出,并将其与标准测试条件下的额定功率进行比较
    发表于 04-17 15:47 565次阅读

    Facebook向研究人员发布友谊数据

    Facebook在一篇博文中表示,卡耐基梅隆大学的研究人员“不会与Facebook分享个人调查反馈,Facebook也不会与研究人员分享关于你是谁的信息。”该公司还表示,将通过其疾病预防地图计划(Disease Prevention Maps program),为流行病学
    的头像 发表于 04-22 10:58 3143次阅读

    研究人员提出利用5G移动网络容量过剩的新方法

    佐治亚理工学院的研究人员提出了一种利用5G移动网络容量过剩的新方法。新技术将5G网络变成了一个无线电网,能够在空中为目前需要电池运行的小型物联网(IoT)设备供电。在许多这些小型设备中,电池阻止
    的头像 发表于 04-16 09:26 1261次阅读

    MIT研究人员提出了一种制造软气动执行器的新方法

    麻省理工学院 (MIT) 的研究人员创造了一种新的制造技术,可以制造出更具成本效益的软气动执行器。
    的头像 发表于 05-06 16:38 1266次阅读
    MIT<b class='flag-5'>研究人员</b><b class='flag-5'>提出了</b>一种制造软气动执行器的新<b class='flag-5'>方法</b>