基于预训练模型和长短期记忆网络的深度学习模型

资料大小: 1.78 MB

所需积分: 0

下载次数:

用户评论: 0条评论,查看

上传日期: 2021-04-20

上 传 者: 他上传的所有资料

资料介绍

标签:wl(1)深度学习(3431)模型(836)

  语义槽填充是对话系统中一项非常重要的任务,旨在为输入句子的毎个单词标注正确的标签,其性能的妤坏极大地影响着后续的对话管理模块。目前,使用深度学习方法解决该任务时,一般利用随机词向量或者预训练词向量作为模型的初始化词向量。但是,随机词向量存在不具备语乂和语法信息的缺点;预训练词向量存在¨一词-乂”的缺点,无法为模型提供具备上下文依赖的词向量。针对该问题,提岀了一种基于预训练模型BERT和长短期记忆网络的深度学习模型。该模型使用基Transformer的双向编码表征模型( BidirecTIonal Encoder RepresentaTIons from Transformers,BERT)产生具备上下文依赖的词向量,并将其作为双向长短期记忆网络( BidirecTIonal Long Short- Term Memory, BILSTM)的输入,最后利用 Softmax函数和条件随机场进行解码。将预训练模型BERT和 BILSTM网络作为整体进行训练,达到了提升语乂槽填充饪务性能的目的。在MIT Restaurant Corpus, MIT Movie Corpυs和 MIT Movie trivial Corpυs3个数据集上,所提模型得出了良好的结果,最大F值分别为78.74%,87.60%和71.54%。实验结果表明,所提模型显著提升了语义槽填充任务的F1值。

用户评论

查看全部 条评论

发表评论请先 , 还没有账号?免费注册

发表评论

用户评论
技术交流、我要发言! 发表评论可获取积分! 请遵守相关规定。
上传电子资料