扩散模型和其在文本生成图像任务上的应用
扩散过程有一个显着特性，我们可以对任意 进行采样。为了证明该性质需要使用参数重整化技巧：假设要从....
一份NLP算法方向的社招面经
这里有一个提高通过率的小trick：可以和1个或者多个靠谱小伙伴一起，让大家看对方的简历，假设自己是....
meta reweighting 策略来增强伪样本的效果
本文的 basic 模型使用 BERT+BiLSTM+CRF 进行 NER 任务。首先给定输入序列 ....
ERNIE-Search模型结构
这个损失的内容非常多，我把他分为两个部分，一个是独立训练的部分（不带箭头的），另一个是蒸馏部分（带箭....
利用对比前缀控制文本生成以及长文本生成的动态内容规划
一些最新的研究表明，预训练语言模型（PLM）可以通过自我监督的预训练从大规模语料库中自动获取知识，然....
利用算法开发了一种新的自然语言生成解码方式
这样的前向启发函数有两个好处，如果是满足多Token约束的一个Token，前向启发函数包含了全部约束....
词义消歧与实体消歧
在词义消歧中，同一词语的不同义项会作为候选词。我们需要在所有候选词中找到与文本中目标词语最接近的那个....
基于序列标注的实体识别所存在的问题
实体识别通常被当作序列标注任务来做，序列标注模型需要对实体边界和实体类别进行预测，从而识别和提取出相....
大模型技术发展背景
我们今天看到了一个明显的趋势就是 AI 正从感知智能快速向认知智能迈进。AI 正从“能听、会说、会看....
怎么构建命名实体识别（NER）任务的标注数据
用自己平台的商品标题去请求一些开放 NER 的 api，比如阿里云、腾讯云、百度 ai 等，有些平台....
实体关系抽取模型CasRel
许多实验证明联合学习方法由于考虑了两个子任务之间的信息交互，大大提升了实体关系抽取的效果，所以目前针....
跨语言命名实体识别：无监督多任务多教师蒸馏模型
另外一个任务输入的为序列标注的句对数据，分别采用两个独立的Encoder编码器进行编码，得到的对应的....
Meta开源NLLB翻译模型，支持200种语言互译
除了AI业内关心他们如何支持语料稀缺的冷门语言，以及如何在BLEU基准测试上提高7个点以外。也有来自....
融合Image-Text和Image-Label两种数据的多模态训练新方式
目前CV领域中包括两种典型的训练模式，第一种是传统的图像分类训练，以离散的label为目标，人工标注....
马尔可夫与语言模型
有限状态语法或正则语法，是指能够生成有限状态机可以接受的句子的语法。而能够生成非确定性下推自动机（n....
如何实现更高效的VLN算法
视觉-语言导航任务（Vision-Language Navigation， VLN）是指在陌生环境中....
如何对typo 进行检测和纠正
自然语言文本中经常会出现一些拼写错误（typo），在中文文本里即所谓的错别字，中文拼写纠错（Chin....
在Token中加入你感兴趣的词的边界标记
首先分词，在词中间插入特殊标记，这些标记也会被当做普通的字符处理。有位置，也会被 MASK，这样编码....
基于Entity-Linking及基于Retreval的方法
NLP预训练模型需要非常大的参数量以及非常多的语料信息，这些都是希望能尽可能多的记住文本中的知识，以....
基于GAN-inversion的图像重构过程
笔者最近在集中时间学习对抗生成网络（GAN），特别是深度生成先验进行多用途图像修复与处理，需要对图像....
生成式摘要的经典模型
以往的标题模型产生的都是平实性标题，即简单语言描述的事实性标题。但是，实际上我们可能更需要有记忆点的....
基于对抗自注意力机制的预训练语言模型
表示输入的特征，在传统的对抗训练中， 通常是 token 序列或者是 token 的 embeddi....
数据类别不均衡问题的分类及解决方式
数据类别不均衡问题应该是一个极常见又头疼的的问题了。最近在工作中也是碰到这个问题，花了些时间梳理....
基于RoBERTa的语义理解模型的构建
美团技术团队 近日，美团搜索与NLP部NLP中心语义理解团队的小样本学习模型FSL++在中文小样本语....
表示学习中7大损失函数的发展历程及设计思路
表示学习的目的是将原始数据转换成更好的表达，以提升下游任务的效果。在表示学习中，损失函数的设计一直是....
逻辑推理MRC的两个数据集和对应方法
AdaLoGN的整体结构如图6所示，可以看到自适应地扩展TLG、消息传递过程通过迭代多轮来使得符号推....
如何在Prompt Learning下引入外部知识达到好文本分类效果
手工定义或自动搜索得到的verbalizer有主观性强覆盖面小等缺点，我们使用了知识库来进行标签词的....
如何更高效地使用预训练语言模型
本文对任务低维本征子空间的探索是基于 prompt tuning, 而不是fine-tuning。原....
