0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

自然语言处理(NLP)领域的高效方法

深度学习自然语言处理 来源:arXiv 作者:arXiv 2022-09-19 09:19 次阅读

训练越来越大的深度学习模型已经成为过去十年的一个新兴趋势。如下图所示,模型参数量的不断增加让神经网络的性能越来越好,也产生了一些新的研究方向,但模型的问题也越来越多。

841cb450-3752-11ed-ba43-dac502259ad0.png

首先,这类模型往往有访问限制,没有开源,或者即使开源,仍然需要大量的计算资源来运行。第二,这些网络模型的参数是不能通用的,因此需要大量的资源来进行训练和推导。第三,模型不能无限扩大,因为参数的规模受到硬件的限制。为了解决这些问题,专注于提高效率的方法正在形成一种新的研究趋势。

近日,来自希伯来大学、华盛顿大学等多所机构的十几位研究者联合撰写了一篇综述,归纳总结了自然语言处理(NLP)领域的高效方法。

效率通常是指输入系统的资源与系统产出之间的关系,一个高效的系统能在不浪费资源的情况下产生产出。在 NLP 领域,我们认为效率是一个模型的成本与它产生的结果之间的关系。

845201c8-3752-11ed-ba43-dac502259ad0.png

方程(1)描述了一个人工智能模型产生某种结果(R)的训练成本(Cost)与三个(不完备的)因素成正比:

(1)在单个样本上执行模型的成本(E);

(2)训练数据集的大小(D);

(3)模型选择或参数调整所需的训练运行次数(H)。

然后,可以从多个维度衡量成本 Cost(·) ,如计算、时间或环境成本中的每一个都可以通过多种方式进一步量化。例如,计算成本可以包括浮点运算(FLOPs)的总数或模型参数的数量。由于使用单一的成本指标可能会产生误导,该研究收集和整理了关于高效 NLP 的多个方面的工作,并讨论了哪些方面对哪些用例有益。

该研究旨在对提高 NLP 效率的广泛方法做一个基本介绍,因此该研究按照典型的 NLP 模型 pipeline(下图 2)来组织这次调查,介绍了使各个阶段更高效的现有方法。

845e2872-3752-11ed-ba43-dac502259ad0.png

这项工作给 NLP 研究人员提供了一个实用的效率指南,主要面向两类读者:

(1)来自 NLP 各个领域的研究人员,帮助他们在资源有限的环境下工作:根据资源的瓶颈,读者可以直接跳到 NLP pipeline 所涵盖的某个方面。例如,如果主要的限制是推理时间,论文中第 6 章描述了相关的提高效率方法。

(2)对改善 NLP 方法效率现状感兴趣的研究人员。该论文可以作为一个切入点,为新的研究方向寻找机会。

下图 3 概述了该研究归纳整理的高效 NLP 方法。

846f988c-3752-11ed-ba43-dac502259ad0.png

此外,虽然硬件的选择对模型的效率有很大的影响,但大多数 NLP 研究者并不能直接控制关于硬件的决定,而且大多数硬件优化对于 NLP pipeline 中的所有阶段都有用。因此,该研究将工作重点放在了算法上,但在第 7 章中提供了关于硬件优化的简单介绍。最后,该论文进一步讨论了如何量化效率,在评估过程中应该考虑哪些因素,以及如何决定最适合的模型。

审核编辑:彭静
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 网络模型
    +关注

    关注

    0

    文章

    39

    浏览量

    8344
  • 自然语言
    +关注

    关注

    1

    文章

    265

    浏览量

    13175
  • nlp
    nlp
    +关注

    关注

    1

    文章

    463

    浏览量

    21784

原文标题:资源受限如何提高模型效率?一文梳理NLP高效方法

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    python自然语言

    最近,python自然语言是越来越火了,那么什么是自然语言自然语言(Natural Language )广纳了众多技术,对自然或人类语言
    发表于 05-02 13:50

    语义理解和研究资源是自然语言处理的两大难题

    都是为了解决低资源问题。自然语言处理在一些特定领域的应用时,会受到资源不足的影响。一般现在采用的主要方法是对引入领域知识,通过增加人工标注数
    发表于 09-19 14:10

    【推荐体验】腾讯云自然语言处理

    `相信大家对NLP自然语言处理的技术都不陌生,它是计算机科学领域和AI领域中的一个分支,它与计算机和人类之间使用
    发表于 10-09 15:28

    自然语言处理的分词方法

    自然语言处理——75 自动分词基本算法
    发表于 03-19 11:46

    自然语言处理语言模型

    自然语言处理——53 语言模型(数据平滑)
    发表于 04-16 11:11

    自然语言处理的词性标注方法

    自然语言处理——78 词性标注方法
    发表于 04-21 11:38

    什么是自然语言处理

    什么是自然语言处理自然语言处理任务有哪些?自然语言处理
    发表于 09-08 06:51

    什么是自然语言处理_自然语言处理常用方法举例说明

    自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和
    发表于 12-28 16:56 1.8w次阅读
    什么是<b class='flag-5'>自然语言</b><b class='flag-5'>处理</b>_<b class='flag-5'>自然语言</b><b class='flag-5'>处理</b>常用<b class='flag-5'>方法</b>举例说明

    自然语言处理方法和应用

    2018CCAI大会邀请到国内NLP领域顶尖学者,苏州大学特聘教授,计算机学院副院长,人类语言技术研究所所长、国家杰出青年科学基金获得者的张民教授将以《自然语言
    的头像 发表于 06-25 15:44 5210次阅读

    深入机器学习之自然语言处理

    方法。随着深度学习在图像识别、语音识别领域的大放异彩,人们对深度学习在NLP的价值也寄予厚望。自然语言处理作为人工智能
    发表于 09-18 22:31 581次阅读

    自然语言处理研究的基本问题及发展趋势

    自然语言处理NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语
    的头像 发表于 09-21 14:22 8234次阅读

    采用深度学习对自然语言处理进行分类

    用深度学习对自然语言处理NLP)进行分类
    的头像 发表于 11-05 06:51 2952次阅读

    如何学习自然语言处理NLP详细学习方法说明

    这篇文章是一名自然语言处理nlp)的初学者,在nlp里摸爬滚打了许久的一些心得,推荐了nlp的学习路线和资料合集,本站极力推荐。
    的头像 发表于 03-03 11:05 5410次阅读

    自然语言处理NLP)的学习方向

    自然语言处理(Natural Language Processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究人与计算
    的头像 发表于 07-06 16:30 1.2w次阅读

    自然语言处理是什么?有什么用?

    自然语言处理” (Natural Language Processing,简称NLP) 是近年来科技界最热门的词语之一,也是当下人工智能研究最热门的领域之一。
    的头像 发表于 02-08 16:00 5705次阅读