0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

中国博士生Liyuan Liu提出了一个新的优化器RAdam

智能感知与物联网技术研究所 来源:通信信号处理研究所 2019-12-06 15:32 次阅读

找到一种快速稳定的优化算法,是所有AI研究人员的目标。

但是鱼和熊掌不可兼得。Adam、RMSProp这些算法虽然收敛速度很快,当往往会掉入局部最优解的“陷阱”;原始的SGD方法虽然能收敛到更好的结果,但是训练速度太慢。

最近,一位来自UIUC的中国博士生Liyuan Liu提出了一个新的优化器RAdam。

它兼有Adam和SGD两者的优点,既能保证收敛速度快,也不容易掉入局部最优解,而且收敛结果对学习率的初始值非常不敏感。在较大学习率的情况下,RAdam效果甚至还优于SGD。

RAdam意思是“整流版的Adam”(Rectified Adam),它能根据方差分散度,动态地打开或者关闭自适应学习率,并且提供了一种不需要可调参数学习率预热的方法。

一位Medium网友Less Wright在测试完RAdam算法后,给予了很高的评价:

RAdam可以说是最先进的AI优化器,可以永远取代原来的Adam算法了。

目前论文作者已将RAdam开源,FastAI现在已经集成了RAdam,只需几行代码即可直接调用。

补众家之短

想造出更强的优化器,就要知道前辈们的问题出在哪:

像Adam这样的优化器,的确可以快速收敛,也因此得到了广泛的应用。

但有个重大的缺点是不够鲁棒,常常会收敛到不太好的局部最优解 (Local Optima) ,这就要靠预热(Warmup)来解决——

最初几次迭代,都用很小的学习率,以此来缓解收敛问题。

为了证明预热存在的道理,团队在IWSLT’14德英数据集上,测试了原始Adam和带预热的Adam。

结果发现,一把预热拿掉,Transformer语言模型的训练复杂度 (Perplexity) ,就从10增到了500。

另外,BERT预训练也是差不多的情况。

为什么预热、不预热差距这样大?团队又设计了两个变种来分析:

缺乏样本,是问题根源

一个变种是Adam-2k:

在前2000次迭代里,只有自适应学习率是一直更新的,而动量 (Momentum) 和参数都是固定的。除此之外,都沿袭了原始Adam算法。

实验表明,在给它2000个额外的样本来估计自适应学习率之后,收敛问题就消失了:

另外,足够多的样本可以避免梯度分布变扭曲 (Distorted) :

这些发现证明了一点:早期缺乏足够数据样本,就是收敛问题的根源。

下面就要证明,可以通过降低自适应学习率的方差来弥补这个缺陷。

降低方差,可解决问题

一个直接的办法就是:

把ψ-cap里面的ϵ增加。假设ψ-cap(. ) 是均匀分布,方差就是1/12ϵ^2。

这样就有了另一个变种Adam-eps。开始把ϵ设成一个可以忽略的1×10^-8,慢慢增加,到不可忽略的1×10^-4。

从实验结果看,它已经没有Adam原本的收敛问题了:

这就证明了,真的可以通过控制方差来解决问题。另外,它和Adam-2k差不多,也可以避免梯度分布扭曲。

然而,这个模型表现比Adam-2k和带预热的Adam差很多。

推测是因为ϵ太大,会给自适应学习率带来重大的偏差 (Bias) ,也会减慢优化的过程。

所以,就需要一个更加严格的方法,来控制自适应学习率。

论文中提出,要通过估算自由度ρ来实现量化分析。

RAdam定义

RAdam算法的输入有:步长αt;衰减率{β1, β2},用于计算移动平均值和它的二阶矩。

输出为θt。

首先,将移动量的一阶矩和二阶矩初始化为m0,v0,计算出简单移动平均值(SMA)的最大长度ρ∞←2/(1-β2)-1。

然后按照以下的迭代公式计算出:第t步时的梯度gt,移动量的二阶矩vt,移动量的一阶矩mt,移动偏差的修正和SMA的最大值ρt。

如果ρ∞大于4,那么,计算移动量二阶矩的修正值和方差修正范围:

如果ρ∞小于等于4,则使用非自适应动量更新参数:

以上步骤都完成后,得出T步骤后的参数θT。

测试结果

RAdam在图像分类任务CIFAR-10和ImageNet上测试的结果如下:

尽管在前几个周期内整流项使得RAdam比Adam方法慢,但是在后期的收敛速度是比Adam要更快的。

尽管RAdam在测试精度方面未能超越SGD,但它可以带来更好的训练性能。

此外,RAdam算法对初始学习率是具有鲁棒性的,可以适应更宽范围内的变化。在从0.003到0.1一个很宽的范围内,RAdam表现出了一致的性能,训练曲线末端高度重合。

亲测过的网友Less Wright说,RAdam和他今年测试的许多其它论文都不一样。

其他方法常常是在特定数据集上有良好的效果,但是放在新的数据集上往往表现不佳。

而RAdam在图像分类、语言建模,以及机器翻译等等许多任务上,都证明有效。

(也侧面说明,机器学习的各类任务里,广泛存在着方差的问题。)

Less Wright在ImageNette上进行了测试,取得了相当不错的效果(注:ImageNette是从ImageNet上抽取的包含10类图像的子集)。在5个epoch后,RAdam已经将准确率快速收敛到86%。

如果你以为RAdam只能处理较小数据集上的训练,或者只有在CNN上有较好的表现就大错特错了。即使大道有几十亿个单词的数据集的LSTM模型,RAdam依然有比Adam更好的表现。

总之,RAdam有望提供更好的收敛性、训练稳定性,以及几乎对所有AI应用都用更好的通用性。

关于作者

论文的作者Liyuan Liu是一位90后,本科毕业于中国科学技术大学,曾在微软亚洲研究院实习。而这项工作,也得益于与微软的合作。

早在本科期间,Liyuan Liu就师从国家杰出青年基金获得者,中科大陈恩红教授,以第一作者的身份在ICDM发表过文章。

2016年,Liyuan Liu小哥本科毕业,加入了美国伊利诺伊大学香槟分校数据挖掘小组(DMG),成为美国计算机协会和IEEE院士韩家炜教授课题组的一名CS博士,从事NLP研究。

读博以来,Liyuan Liu开始在各大顶会上崭露头角。在2018年NLP领域国际顶会EMNLP当中,他的一作论文《Efficient Contextualized Representation: Language Model Pruning for Sequence Labeling》就被收录为口头报告。

又是一位闪闪发光的少年英才啊。

论文地址:
https://arxiv.org/abs/1908.03265v1

源代码:
https://github.com/LiyuanLucasLiu/RAdam

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26149

    浏览量

    263716
  • 开源
    +关注

    关注

    3

    文章

    2964

    浏览量

    41604

原文标题:中国博士生提出最先进AI训练优化器,收敛快精度高,网友亲测:Adam可以退休了

文章出处:【微信号:tyutcsplab,微信公众号:智能感知与物联网技术研究所】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    博士生团队提升Apple Silicon芯片神经网络性能

     据悉,该项目主要由博士生特里斯坦·比洛特(Tristan Bilot)、弗朗切斯科·法里纳(Francesco Farina)以及MLX团队联手推动。MLX是专门面向Apple Silicon发行的图形神经网络库。
    的头像 发表于 02-21 14:18 116次阅读

    FPGA图书分享系列-2024.01.31

    。 综合性学习资源:不仅适合想要学习FPGA基础的学生,也适合希望深入了解FPGA在金融领域应用的研究博士生以及专业人士。 跨学科知识:由于FPGA的应用涉及电子工程、计算机科学和金融等多个领域
    发表于 01-31 21:14

    NVIDIA 向博士生颁发 6 万美元研究奖学金

    多年来, NVIDIA 研究生奖学金计划 一直在为 NVIDIA 技术相关的杰出工作提供支持。日前,该计划宣布向参与研究的 10 名博士生颁发每人高达 6 万美元的奖学金,他们的研究范围涵盖了所有计算创新领域。 这 10 位获奖者从诸多优秀申请人中脱颖而出,他们将在该奖学金年度
    的头像 发表于 12-11 21:15 402次阅读

    OpenHarmony Meetup 2023北京站圆满举办

    的历史进程当中。” 浙江大学百人计划研究员、博士生导师张旭鸿做主题分享 浙江大学百人计划研究员、博士生导师张旭鸿带来《上下文感知的 OpenHarmony 内核模糊测试技术》的主旨分享,他提到
    发表于 11-29 09:51

    MHz高频电感分布电容建模及优化设计方案

    本成果针对高频电感中的分布电容问题提出了建模及优化设计方案。探究了磁芯内部电场分布规律及建模方法;揭示了浮空磁芯电位的求解方法,推导了磁芯与绕组之间、绕组内部分布电容的解析公式;以此为基础提出了高频电感的分布电容及高频电阻联合
    发表于 10-30 10:44 252次阅读
    MHz高频电感分布电容建模及<b class='flag-5'>优化</b>设计方案

    怎么用STM32F111位60K的PWM?

    怎么用STM32F111位60K的PWM
    发表于 10-15 13:26

    CTO毕超博士出席微特电机技术创新与发展论坛并发表主题演讲

    ;毕超博士在论坛上发表了主题为“基于多核架构的PMSM参数在线辨识”的演讲分享。工业控制和消费电子领域产品日新月异,对电机技术提出了越来越严格的要求,同时国家提出电机
    的头像 发表于 09-27 10:00 654次阅读
    CTO毕超<b class='flag-5'>博士</b>出席微特电机技术创新与发展论坛并发表主题演讲

    MATLAB编程在优化中的应用介绍

    线性的,需要特殊的技术,而这些技术通常不是任何核心课程的部分。所有的书都假设读者熟悉编程语言,传统上是FoRTRAN,最近是C。另一个经常提出的假设是,优化技术将在基础计算环境中实现
    发表于 09-21 07:07

    keras内置的7常用的优化介绍

    编译模型时需要如下两参数: “损失函数”(loss function),用来衡量网络的预测有多好。
    发表于 08-18 06:32

    开关管MOSFET的损耗分析及其优化方法

    本文主要阐述了MOSFET在模块电源中的应用,分析了MOSFET损耗特点,提出了优化方法;并且阐述了优化方法与EMI之间的关系。
    发表于 08-17 09:16 1400次阅读
    开关管MOSFET的损耗分析及其<b class='flag-5'>优化</b>方法

    粒子群优化算法基本原理及在直线感应电机中的应用

      摘要首先介绍了粒子群优化算法(PSO)的基本原理,根据实验提出了改进措施,增强了粒子群优化算法的全局寻优能力。然后结合直线感应电机的设计特点,利用改进的粒子群优化算法对电机进行了
    发表于 07-19 14:58 0次下载

    人工智能法纳入立法计划背后:专家建议划定红线,设置负面清单

    中国社科院法学所研究员、科技与法研究中心主任、博士生导师杨延超教授长期研究人工智能立法问题。在杨延超看来,以上几部管理办法的出台,体现的是随着人工智能技术的进步,立法工作也进步。
    的头像 发表于 06-13 14:22 354次阅读

    深开鸿CEO王成录博士邀您一起相聚2023开放原子全球开源峰会,共话数字中国未来!

    原文标题:深开鸿CEO王成录博士邀您一起相聚2023开放原子全球开源峰会,共话数字中国未来! 文章出处:【微信公众号:中软国际】欢迎添加关注!文章转载请注明出处。
    的头像 发表于 06-10 19:35 322次阅读

    汉希科特中国微系统应用研究院开业仪式暨MEMS传感器专业论坛举行

    论坛期间还举行了汉希科特中国微系统应用研究院专家聘书颁发仪式。专家委员会由交通大学教授王庆康,复旦大学微电子学院副院长曾晓洋,中国科学院上海微系统与信息技术研究所研究员、博士生导师、传感技术实验室主任武震宇,上海砺群科技有限公司
    的头像 发表于 06-02 16:42 827次阅读

    陈丹博士中国联通5G专网PLUS

    我们知道“多品类、小批量、多批次”成为了高科技制造行业的基本要求。施耐德无锡工厂生产的设备类型多达10000种,最小可接受订单量为1pcs,这对工厂的柔性化生产提出了前所未有的挑战。
    的头像 发表于 05-24 09:30 506次阅读