0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

近期必读的6篇ICLR 2021相关论文

深度学习自然语言处理 来源:深度学习自然语言处理 作者:深度学习自然语言 2020-11-03 17:21 次阅读

本期的关注焦点是NLP的6篇论文。

NLP

CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

本文设计了提出对当前在NLP领域下针对数据增广场景下如何生成更多高质量和更多样的数据及如何提升模型效果提出统一的模型,首先提出利用统一的组合策略对已有生成策略融合,另一方面借用对比思想,将生成的数据与训练中全局的数据做对比以更好提升训练质量。

论文链接:https://openreview.net/forum?id=Ozk9MrX1hvA

Contrastive Learning with Stronger Augmentations

文章指出现有的对比学习方法中,一些数据增强的操作可能会导致变换后的图像与原图的差异过大,强行让网络提取出相似的特征反而会减弱自监督学习的效果。作者在文中提出的解决方法是,将数据的增广操作划分为两大类,一类是不会显著改变图像视觉效果,叫做Weaker Augmentations;另一类是可能使图像发生非常大的变化的,叫做Strongerer Augmentations。在训练网络的时候,增加了一个新的损失函数,不是直接限制变换图像与原图的特征,而是通过优化原图与弱变换图像、弱变换图像与强变换图像之间的分布,达到特征学习的目的,消除上述的影响。

论文链接:https://openreview.net/forum?id=KJSC_AsN14

Improving Abstractive Dialogue Summarization with Conversational Structure and Factual Knowledge

在对话抽象摘要任务中,对长距离跨句关系进行捕获是必要的。此外,生成的摘要会受到虚假事实的影响。本文提出了一种知识图增强的双拷贝网络(KGEDC),它是一种基于会话结构和事实知识的抽象对话和化框架。采用序列编码器提取局部特征,用图编码器通过稀疏关系图自注意网络整合全局特征,相互补充。此外,在解码过程中还设计了一种双重复制机制,从原文本和事实中共同生成摘要。

论文链接:https://openreview.net/forum?id=uFk038O5wZ

CorDial: Coarse-to-fine Abstractive Dialogue Summarization with Controllable Granularity

本文提出一种由coarse-to-fine的对话抽象摘要生成策略,首先生成摘要草稿,然后生成最终摘要。本文也提出了控制最终摘要粒度的简单策略,可以通过预测和突出显示源文本中不同的文本跨度来自动控制给定对话生成的摘要语句的数量。

论文链接:https://openreview.net/forum?id=Uf_WNt41tUA

Learning Contextualized Knowledge Graph Structures for Commonsense Reasoning

为了解决外部知识图中缺少 facts 和上下文知识图中存在冗余 facts 的问题,本文提出了一种常识推理的神经符号框架 HGN。HGN 可以联合生成新边的特征,优化图结构,并学习图网络的参数,实现动态图推理。实验结果和用户研究证明了该模型的有效性。

论文链接:https://openreview.net/forum?id=lJuOUWlAC8i

Deep Encoder, Shallow Decoder: Reevaluating Non-autoregressive Machine Translation

本文通过理论研究和实验证明,通过简单的层分配策略(深层编码器-浅层解码器)可以大大加快自回归神经机器翻译的速度。与强非自回归模型相比,深-浅自回归模型以近似的速度实现了翻译质量的显着提高。另外,深层编码器-浅层解码器的模型可以用于任何序列到序列任务,包括大规模预训练。

论文链接:https://openreview.net/forum?id=KpfasTaLUpq

责任编辑:xj

原文标题:【NLP】近期必读ICLR 2021相关论文

文章出处:【微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 数据
    +关注

    关注

    8

    文章

    6504

    浏览量

    87444
  • 深度学习
    +关注

    关注

    73

    文章

    5200

    浏览量

    119803
  • nlp
    nlp
    +关注

    关注

    1

    文章

    463

    浏览量

    21784

原文标题:【NLP】近期必读ICLR 2021相关论文

文章出处:【微信号:zenRRan,微信公众号:深度学习自然语言处理】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    TC275 CCU6模块如何控制三BLDC?

    TC275 CCU6模块如何控制三BLDC?有没有相关指导
    发表于 02-20 08:12

    [求助] CDS8712_QFN32相关资料如何获取?

    版主,你好,EEWorld抽中了一个CDS8712只发了一个板子,CDS8712_QFN32相关资料能不能发给我一下,邮箱:859159695@qq.com,谢谢!
    发表于 12-18 22:09

    论文遭首届ICLR拒稿、代码被过度优化,word2vec作者Tomas Mikolov分享背后的故事

    尽管 word2vec 是我被引用最多的论文,但我从未认为它是我最有影响力的项目。实际上,word2vec 代码最初只是我之前项目 RNNLM 的一个子集,我感觉 RNNLM 很快就被人们遗忘了。但在我看来,它应该和 AlexNet 一样具有革命性意义。
    的头像 发表于 12-18 16:51 349次阅读
    <b class='flag-5'>论文</b>遭首届<b class='flag-5'>ICLR</b>拒稿、代码被过度优化,word2vec作者Tomas Mikolov分享背后的故事

    ICLR 2024高分投稿:用于一般时间序列分析的现代纯卷积结构

    这篇是 ICLR 上用 TCN 来做一般的时间序列分析的论文,在 Rebuttal 之后的分数为 888,算得上是时间序列领域相关论文中最高分那一档了。本文提出了一个 ModernT
    的头像 发表于 12-18 16:05 376次阅读
    <b class='flag-5'>ICLR</b> 2024高分投稿:用于一般时间序列分析的现代纯卷积结构

    求助,关于ADL5205相关问题求解

    我想把ADL5205用于IQ两路放大,想咨询两个问题 1、datasheet上没有给出两个通道的增益和相位一致性,有没有相关数据? 2、datasheet上只给出了10MHz以上的非线性指标,有没有DC~10MHz的非线性指标?
    发表于 11-20 06:11

    MAX11254相关资料

    MAX11254是一个6通道、24位delta-sigma ADC在消费时实现卓越性能非常低的功率。采样率高达64ksps,可实现精确的直流测量。MAX11254通信通过SPI串行接口,可在x
    发表于 10-13 09:16

    MIC29150/29300/29500/29750相关资料

    极限、超温停机和极高电压输入上的尖峰。 在MIC29xx1和MIC29xx2上,ENABLE引脚可能如果不需要开/控制,则绑定到VIN。这个MIC29150/29300/29500提供3针和5针TO-220以及表面安装TO-263封装。MIC29750 7.5A调节器有3引脚和5引脚TO-247封装。
    发表于 10-11 07:04

    TXB0104相关资料

    。 TXB0104的设计使得OE输入电路由VCCA供电。 此设备完全指定用于使用I的部分断电应用程序.I关断电路禁用输出,防止在设备断电时损坏性的电流回流通过设备。
    发表于 10-11 06:53

    [求助] CDS8711_QFN32相关资料(Pack包和例程)如何获取?

    版主,,你好,CDS8711_QFN32相关资料(Pack包和例程)能不能发给我一下,邮箱:insy_1969@126.com,谢谢
    发表于 10-05 17:41

    【求助】CS32L010F8U6(R)_QFN20相关资料(Pack包和例程)如何获取?

    你好,CS32L010F8U6_QFN20相关资料(Pack包和例程)能不能发给我一下,邮箱:1125315355@qq.com,谢谢
    发表于 09-25 15:13

    中国团队包揽CVPR 2021弱光人脸检测挑战赛前三名!高分论文已公开播

    来源:CVPR 2021 UG2+ 编辑:好困 【新智元导读】中国团队包揽CVPR 2021 UG2+挑战赛弱光人脸检测赛道前三,其中TAL-ai更是以74.89的高分夺得第一。 CVPR作为是全球
    的头像 发表于 07-02 15:35 297次阅读
    中国团队包揽CVPR <b class='flag-5'>2021</b>弱光人脸检测挑战赛前三名!高分<b class='flag-5'>论文</b>已公开播

    CS32L010的相关资料

    你好,CS32L010F8U6(R)_QFN20相关资料(Pack包和例程)能不能发给我下,邮箱:669432391@qq.com,谢谢
    发表于 06-19 17:13

    IMX8MDQLQ(MIMX8MQ6CVAHZAA) - USB未针对PC进行调整的原因?

    改善。一个疑点是没有使用USB2 Port,所以与USB2相关的USB2_VDD33、USB2_VPH、USB2_VPTX、USB2_VP、USB2_DVDD没有连接。当然我也不是随便接的,我查了
    发表于 05-25 08:47

    边缘计算相关论文汇总

    刚读研发现找论文真的很累   给大伙做个论文汇总吧  近三年ccf A  B期刊论文(无会议论文) 资源链接: 边缘计算论文汇总CCFAB2
    发表于 05-18 15:45 0次下载
    边缘计算<b class='flag-5'>相关</b><b class='flag-5'>论文</b>汇总

    IA610相关规格书#电路原理

    dsp
    海南世电科技有限公司
    发布于 :2023年04月03日 01:03:41