扩散模型再下一城！ 故事配图这个活可以交给AI了
生成具有故事性的漫画可不是那么简单，不光要保证图像质量，画面的连贯性也占有非常重要的地位，如果生成的....
用于NAT的选择性知识蒸馏框架
尽管NAT在拥有许多潜在的优势，目前的工作中这类模型仍然在很大程度上依赖于句子级别的知识蒸馏（seq....
介绍四个为语言生成设计的预训练模型
BERT: 只有Transformer Encoder部分，随机MASK掉一些token，然后利用上....
为什么不同模态的embedding在表征空间中形成不同的簇
文中将一些经典的多模态对比学习模型中两个模态的embedding，通过降维等方法映射到二维坐标系中。
一种将信息直接编码到预训练的语言模型中的结构
边界信息的挖掘，对于NER的任务是非常重要的，这种类似于分词的功能，能够很好的挖掘到词语，并且把一个....
如何使用CLM自身的embedding来得到OOD score？
如果直接套用classification任务中使用MSP作为OOD score的话，那么对于NLG问....
基于VQVAE的长文本生成 利用离散code来建模文本篇章结构的方法
写在前面 近年来，多个大规模预训练语言模型 GPT、BART、T5 等被提出，这些预训练模型在自动文....
从统一视角看各类高效finetune方法实现最优tuning框架设计
Adaptor核心是在原Bert中增加参数量更小的子网络，finetune时固定其他参数不变，只更新....
采用检测框架CoP通过控制偏好检测事实不一致
一致性评估的本质是衡量摘要Y受原文X支持的程度，也就是衡量X到Y的因果效应。直接使用常规推理过程的生....
基于本体的金融知识图谱自动化构建技术
本评测任务参考 TAC KBP 中的 Cold Start 评测任务的方案，围绕金融研报知识图谱的自....
FRNet：上下文感知的特征强化模块
现有的工作已经注意到了这个问题，例如 IFM、DIFM 等，但是他们仅仅在不同的实例中为相同特征赋予....
谷歌提出Flan-T5，一个模型解决所有NLP任务
这里的Flan指的是（Instruction finetuning），即"基于指令的微调"；T5是2....
介绍两种高效的参数更新方式LoRA与BitFit
NLP一个重要的范式包括在通用领域数据上的大规模预训练和在特定任务或者领域上的微调。
图模型在方面级情感分析任务中的应用
方面级情感分析(Aspect-based Sentiment Analysis, ABSA)是一项细....
一篇文章讲清楚交叉熵和KL散度
什么情况下产生的平均惊喜最高呢？自然是不确定越高平均惊喜越高。对于给定均值和方差的连续分布，正态分布....
面向Aspect情感分析的自动生成离散意见树结构
在本文中，我们探索了一种简单的方法，为每个方面自动生成离散意见树结构。用到了RL。
从预训练语言模型看MLM预测任务
为了解决这一问题，本文主要从预训练语言模型看MLM预测任务、引入prompt_template的ML....
用于中文缩略词预测的序列生成模型研究
缩略词是单词或短语的缩写形式。为了方便写作和表达，在文本中提及某个实体时，人们倾向于使用缩写名称而不....
基于性别的暴力（GBV）的语言表达如何影响责任认知
不同的语言表达可以通过强调某些部分从不同的角度来概念化同一事件。该论文调查了一个具有社会后果的案例：....
求一种基于结构统一M叉编码树的求解器解决方案
数学问题 (英文叫Math Word Problem，简称MWP) 的求解要求给定一段描述文本，其中....
一种新型的双流注意力增强型BERT来提高捕捉句子对中细微差异的能力
因此，该论文提出一种新型的双流注意力增强型bert（DABERT，Dual Attention En....
帮助弱者让你变得更强：利用多任务学习提升非自回归翻译质量
沿着这个思路，我们希望能够为NAR模型提供更具信息量的学习信号，以便更好地捕获目标端依赖。同时，最好....
列举一些常见的数据问题以及解决方案
其次，有些数据集，和很多原因有关，无论是训练集还是测试集，准确率可能都只是在六七十甚至更低，我们其实....
介绍大模型高效训练所需要的主要技术
随着BERT、GPT等预训练模型取得成功，预训-微调范式已经被运用在自然语言处理、计算机视觉、多模态....
建立计算模型来预测一个给定博文的抱怨强度
在计算语言学中，先前的研究主要集中在建立自动分类模型来识别抱怨是否存在。Jin提供了一个数据集，基于....
CogBERT：脑认知指导的预训练语言模型
另一方面，从语言处理的角度来看，认知神经科学研究人类大脑中语言处理的生物和认知过程。研究人员专门设计....
基于使用对比学习和条件变分自编码器的新颖框架ADS-Cap
在本文中，我们研究了图像描述（Image Captioning）领域一个新兴的问题——图像风格化描述....
对话系统中的中文自然语言理解(NLU)（3.1）学术界中的方法（联合训练）
槽位填充任务(Slot Filling Task) 当模型听懂人类的意图之后，为了执行任务，模型便需....
摘要模型理解或捕获输入文本的要点
Abstract Intro 尽管基于预训练的语言模型的摘要取得了成功，但一个尚未解决的问题是生....
