0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

深度学习自然语言处理

文章:836 被阅读:179.4w 粉丝数:40 关注数:0 点赞数:5

广告

通过Token实现多视角文档向量表征的构建

该篇论文与前两天分享的DCSR-面向开放域段落检索的句子感知的对比学习一文有异曲同工之妙,都是在检索....
的头像 深度学习自然语言处理 发表于 07-08 11:13 683次阅读

对比学习中的4种典型范式的应用分析

对比学习是无监督表示学习中一种非常有效的方法,核心思路是训练query和key的Encoder,让这....
的头像 深度学习自然语言处理 发表于 07-08 11:03 1685次阅读

双塔模型扩量负样本的方法比较

双塔模型在训练时是对一个batch内样本训练。一个batch内每个样本 (user和item对)为正....
的头像 深度学习自然语言处理 发表于 07-08 10:57 947次阅读

基于Zero-Shot的多语言抽取式文本摘要模型

抽取式文本摘要目前在英文上已经取得了很好的性能,这主要得益于大规模预训练语言模型和丰富的标注语料。但....
的头像 深度学习自然语言处理 发表于 07-08 10:49 1299次阅读

采用双塔BERT模型对文本字符和label进行编码

  这是一篇来自于 ACL 2022 的文章,总体思想就是在 meta-learning 的基础上,....
的头像 深度学习自然语言处理 发表于 07-08 10:38 1582次阅读

汇总在事件抽取方向的相关厂商调研结果

值得关注的是在论元提取(要素抽取)阶段,除了CRF外,他们也尝试了MRC(阅读理解范式)、Biaff....
的头像 深度学习自然语言处理 发表于 07-07 16:03 857次阅读

基于pipeline的文本纠错系统框架分析

这是比较早期的一个中文文本纠错系统,该系统结合了规则模版和统计的方法,很大程度的解决了同期纠错系统误....
的头像 深度学习自然语言处理 发表于 07-07 11:02 1582次阅读

面向实体对象的文本描述情感极性及色彩强度分析

在做这题的时候我就会思考如何做得优雅,最好方法是simple yet effective的。最好就是....
的头像 深度学习自然语言处理 发表于 07-05 14:11 837次阅读

用于少数镜头命名实体识别的分解元学习

我们在一些 benchmark 上进行了实验,实验表明我们提出的框架比之前的 SOTA 模型表现更好....
的头像 深度学习自然语言处理 发表于 07-05 14:08 603次阅读

文本预训练的模型架构及相关数据集

多模态预训练的数据通常来源于大规模的模态间对齐样本对。由于时序维度的存在,视频当中包含了比图片更加丰....
的头像 深度学习自然语言处理 发表于 07-01 11:08 1771次阅读

在检索任务中训练数据在推理时也大有用处

有点类似 Prompt 学习,但本文主要关注有监督学习的设置。结果不仅效果很好,而且很容易扩展(只要....
的头像 深度学习自然语言处理 发表于 06-15 10:57 734次阅读

Zero-shot-CoT是multi-task的方法

大规模预训练语言模型借助于针对特定任务设计的prompt(无论是few shot还是zero sho....
的头像 深度学习自然语言处理 发表于 06-15 10:53 2022次阅读

事件模式归纳的历史以及相关概念

一个典型的原子事件类型归纳的研究是Nathanael Chambers和Dan Jurafsky在2....
的头像 深度学习自然语言处理 发表于 06-10 10:58 1409次阅读

几种基于深度学习的中文纠错模型

Confusionset-guided Pointer Network看起来跟之前提及的CopyNe....
的头像 深度学习自然语言处理 发表于 06-09 11:19 5146次阅读

微调前给预训练模型参数增加噪音提高效果的方法

为了减轻上述问题,提出了NoisyTune方法,即,在finetune前加入给预训练模型的参数增加少....
的头像 深度学习自然语言处理 发表于 06-07 09:57 2183次阅读

一种缓解负采样偏差的对比学习句表示框架DCLR

近年来,预训练语言模型在各种 NLP 任务上取得了令人瞩目的表现。然而,一些研究发现,由预训练模型得....
的头像 深度学习自然语言处理 发表于 06-07 09:54 1651次阅读

SemEval 2022: 多语种惯用语识别评测冠军系统简介

提交的系统使用XLM-RoBERTa作为编码器,在预处理过程中对训练数据的惯用语短语(MWE)进行特....
的头像 深度学习自然语言处理 发表于 06-07 09:48 1034次阅读

关于Prompt在NER场景的应用总结

将序列标注任务转换成一个生成任务,在Encoder端输入为原始文本,Decoder端输入的是一个已填....
的头像 深度学习自然语言处理 发表于 05-24 10:54 1835次阅读

如何显著提升Vision Transformer的训练效率

为了降低门槛,让更多人能够应用ViT,我们开发一系列方法来加速整个训练。我们基于MetaAI的图像分....
的头像 深度学习自然语言处理 发表于 05-24 10:46 1192次阅读

基于e-CARE的因果推理相关任务

因果推理是人类的一项核心认知能力。借助因果推理能力,人类得以理解已观测到的各种现象,并预测将来可能发....
的头像 深度学习自然语言处理 发表于 05-16 16:21 1153次阅读

PaddleNLP v2.3带来两大重磅能力

针对以上难题,中科院软件所和百度共同提出了一个大一统诸多任务的通用信息抽取技术UIE(Univers....
的头像 深度学习自然语言处理 发表于 05-16 15:12 1549次阅读

稠密检索模型在zero-shot场景下的泛化能力

稠密检索任务旨在通过给定的query,在一个庞大的document语料库中召回与query高度相关的....
的头像 深度学习自然语言处理 发表于 05-16 15:06 1378次阅读

若干蒸馏方法之间的细节以及差异

以往的知识蒸馏虽然可以有效的压缩模型尺寸,但很难将teacher模型的能力蒸馏到一个更小词表的stu....
的头像 深度学习自然语言处理 发表于 05-12 11:39 1206次阅读

基于k近邻与高斯噪声的虚拟困难样本增强方法

然而在无监督SimCSE中,作者仅使用dropout的方式进行了正样本增强,没有额外引入困难样本,这....
的头像 深度学习自然语言处理 发表于 05-12 11:31 935次阅读

缓解模型训练成本过高的问题

模型压缩可以分为模型剪枝(pruning)和模型蒸馏(distillation)。由于模型中的参数对....
的头像 深度学习自然语言处理 发表于 05-10 15:05 1279次阅读

一种基于乱序语言模型的预训练模型-PERT

由于乱序语言模型不使用[MASK]标记,减轻了预训练任务与微调任务之间的gap,并由于预测空间大小为....
的头像 深度学习自然语言处理 发表于 05-10 15:01 1283次阅读

Multilingual多语言预训练语言模型的套路

Facebook在Crosslingual language model pretraining(N....
的头像 深度学习自然语言处理 发表于 05-05 15:23 2643次阅读

结合句子间差异的无监督句子嵌入对比学习方法-DiffCSE

句向量表征技术目前已经通过对比学习获取了很好的效果。而对比学习的宗旨就是拉近相似数据,推开不相似数据....
的头像 深度学习自然语言处理 发表于 05-05 11:35 1032次阅读

机器翻译中细粒度领域自适应的数据集和基准实验

细粒度领域自适应问题是一个重要的实际应用问题。当研发人员需要为某个特定主题提供翻译服务(比如为某个主....
的头像 深度学习自然语言处理 发表于 04-26 10:08 1042次阅读

统一的文本到结构生成框架——UIE

众所周知,信息抽取(IE)是一个从文本到结构的转换过程。常见的实体、关系、事件分别采取Span、Tr....
的头像 深度学习自然语言处理 发表于 04-13 09:54 2772次阅读