模型评估、模型选择和算法选择技术的正确使用
机器学习已经成为我们生活的中心,无论是作为消费者、客户、研究者还是从业人员。无论将预测建模技术应用到....
如何通过多模态对比学习增强句子特征学习
视觉作为人类感知体验的核心部分,已被证明在建立语言模型和提高各种NLP任务的性能方面是有效的。作者认....
Taskflow API之三大特性
文档级输入:支持文档级输入,解决预训练模型对输入文本的长度限制问题,大大节省用户输入长文本时的代码开....
如何统一各种信息抽取任务的输入和输出
信息抽取任务包括命名实体识别(NER)、关系抽取(RE)、事件抽取(EE)等各种各样的任务。
深度学习与经典统计学的差异
深度学习和简单的统计学是一回事吗?很多人可能都有这个疑问,毕竟二者连术语都有很多相似的地方。在这篇文....
视觉语言导航领域任务、方法和未来方向的综述
视觉语言导航(VLN)是一个新兴的研究领域,旨在构建一种可以用自然语言与人类交流并在真实的3D环境中....
一种简单而有效的转换方法来降低预测情感标签的难度
面向目标的多模态情感分类(TMSC)是方面级情感分析的一个新的子任务,旨在预测一对句子和图片中提到的....
基于谷歌中长尾item或user预测效果的迁移学习框架
文中提出的迁移学习框架主要包括model-level transfer和item-level tra....
预训练模型在搜索中使用的思路和方案
当然了,和往常的文章一样,我不会复述这一篇文章,而是聊聊里面的一些关键点和一些有意思的内容,拿出来和....
自然语言处理(NLP)领域的高效方法
训练越来越大的深度学习模型已经成为过去十年的一个新兴趋势。如下图所示,模型参数量的不断增加让神经网络....
几种常用的NLP数据增强方法
因为直接对原是文本进行数据增强,很难保证维持原始的文本语义,因此可以通过在语义空间上进行隐式数据增强....
深度解析YOLOv7的网络结构
最近,Scaled-YOLOv4的作者(也是后来的YOLOR的作者)和YOLOv4的作者AB大佬再次....
为什么深度学习模型经常出现预测概率和真实情况差异大的问题?
文中对比了简单模型LeNet和现代模型ResNet的校准情况,LeNet的输出结果校准性很好,而Re....
深度学习刷SOTA的一堆trick
对抗训练就是在输入的层次增加扰动,根据扰动产生的样本,来做一次反向传播。以FGM为例,在NLP上,扰....
刷SOTA一般通用的trick
像优秀的优化器,学习率调度方法,数据增强,dropout,初始化,BN,LN,确实是调参大师的宝贵经....
用于多模态命名实体识别的通用匹配对齐框架
该模块通过注意力机制建立起文本和图像之间的关系,使用文本token序列表示 作为Query,使用图....
介绍一种通用匹配对齐框架MAF
多模态命名实体识别在传统的命名实体识别基础上额外引入了图像,可以为文本补充语义信息来进行消岐,近些年....
对预训练模型在召回与排序部分的应用做一个总结
搜索任务就是给定一个query或者QA中的question,去大规模的文档库中找到相似度较高的文档,....
解决长尾和冷启动问题的基本方法
长尾问题的难点主要体现在以下2点。首先,长尾实体的样本量太少,模型很难学习这部分样本的规律,例如用户....
一窥AMR图谱在自然语言处理中的应用
TreeBank 作为自然语言语法的结构化表示可谓广为人知,其实在语义层面也有一种类似的结构化方法—....
AMR图谱在自然语言处理中的应用
AMR 既不会自动从文本中展现出来,也无法自行表达一个句子。因此对于 AMR 而言,最重要的任务就是....
一种将知识图谱与语言模型结合的具体方式分享
知识嵌入(Knowledge Embedding)将知识图谱中的关系和实体嵌入向量空间进行表示。
基于知识的对话生成任务
基于知识的对话生成任务(Knowledge-Grounded Dialogue Generation....
预训练模型技术在金融事件分析中有何作用
综合前面介绍的各种事件分析技术和应用场景,一个完整的事件分析框架支持4大能力:搜索某个事,搜索某个主....
基于图文多模态领域典型任务
图文多模态领域典型任务如img-text retrieval、VQA、captioning、grou....
基于小样本增量学习 NER 的框架
之前的工作(Monaikul 等人,2021)通过对新实体类添加输出层(AddNER)以及对输出层进....
如何在GPU资源受限的情况下训练transformers库上面的大模型
自BERT出现以来,nlp领域已经进入了大模型的时代,大模型虽然效果好,但是毕竟不是人人都有着丰富的....
半监督算法DocRE的新组件
文档级关系抽取要同时从多个句子中提取关系。针对这个任务,本文提出了一个半监督算法 DocRE。Doc....
一篇解决表示学习坍塌问题的工作报告
针对表示学习中的坍塌问题,提出了VICREG方法,通过variance、invariance、cov....
Transformer的细节和效果如何
在文本理解任务(Natural Language Understanding)上,预训练模型已经取得....