跨语言命名实体识别：无监督多任务多教师蒸馏模型

前言 这是一篇来自于 ACL 2022 的关于跨语言的 NER 蒸馏模型。主要的过程还是两大块：1）Teacher Model 的训练；2）从 Teacher Model 蒸馏到 Student Model。采用了类似传统的 Soft 蒸馏方式，其中利用了多任务的方式对 Teacher Model 进行训练，一个任务是 NER 训练的任务，另一个是计算句对的相似性任务。整体思路还是采用了序列标注的方法，也是一个不错的 IDEA。

论文标题：

An Unsupervised Multiple-Task and Multiple-Teacher Model for Cross-lingual Named Entity Recognition

论文链接：

https://aclanthology.org/2022.acl-long.14.pdf

模型架构

2.1 Teacher Model

▲图1.Teacher Model训练架构 从上图可以明显的看出，Teacher Model 在进行训练时，采用了两种不同的 Labeled Data，一种是传统的单文本序列标注数据；另一种是句对类型的序列标注数据，然后通过三个独立的 Encoder 编码器进行特征抽取，一个任务就是我们常用的 NER 训练任务，也就是将 Encoder 编码器的输出经过一个线性层映射为标签数的特征矩阵，对映射的特征矩阵进行 softmax 归一化（这里笔者理解就是 NER 任务中的 BERT+Softmax 模型），利用归一化后的特征矩阵与输入的 labels 进行 loss 计算，这里采用的是 CrossEntropyLoss。需要明确具体的是作者采用了 Multilingual BERT（也就是 mBert）作为编码器，计算公式如下：

首先利用 mBERT 提取输入文本序列的特征 ，这里的 表示的是：

将计算得到的文本序列隐藏向量经过一个线性变换后进行 softmax 归一化，计算如下：

以上就是 Teacher Model 的第一个任务，直接对标注序列进行 NER，并且采用交叉熵损失函数作为 loss_function，计算如下：

另外一个任务输入的为序列标注的句对数据，分别采用两个独立的Encoder编码器进行编码，得到的对应的 last_hidden_state，然后计算这两个输出的 cosine_similar，并且将其使用 进行激活，得到两个序列的相似度向量，计算如下：

这里也就是一个类似于 senetnce_similar 的操作，不同点在于这里计算的是序列中每个 Token 的相似度。通过对比句对序列标签得到一个 ，这里 时表示 （预测正确），反正的话，。到了计算相似度时，损失函数的设计就是基于 与 的，计算公式如下：

这里的 是 BinaryCrossEntropy。这里的 是句对序列所对应的标签通过比对得到的对比标签序列，也就是对于两个句子序列标签

来说，其生成的 ，通过这样的损失设计就可以很直观的理解 sim_loss 的计算了。 Tips：对于式（6）这里采用二元交叉熵（BCE）来计算 loss，笔者的理解是对输入句对中的每个 Token 的相似度进行一个二分类，其最终目标是使得具有相同标签的句对更加的靠近，也就是相似度更高。BCE 是用来评判一个二分类模型预测结果 的好坏程度的，通俗的讲，即对于标签 y 为 1 的情况，如果预测值 p(y) 趋近于 1，那么损失函数的值应当趋近于 0。反之，如果此时预测值 p(y) 趋近于 0，那么损失函数的值应当非常大，这非常符合 log 函数的性质。 Teacher Model 的设计总体上就是这样的，通过两个任务来增加 Teacher Model 的准确性和泛化性，对于实体识别来说，使用句对相似度的思想来拉近具有相同标签的 Token，并且结合传统的 NER 模型（mBERT+softmax）可以使得模型的学习更加有指向性，不单单靠一个序列标签来指导模型学习，笔者任务这是一个不错的思路。

2.2 Student Model Distilled

▲图2.Teacher Model--Student Model Distilled 上面笔者分析了 Teacher Model 的训练，但这不是重点，笔者认为本篇文章在于作者在进行蒸馏时的想法是有亮点的。从蒸馏流程图可以看出来，作者使用的 Student Model 也是一个双塔 mBERT 模型作为编码器，输入的就是 Unlabeled Pairwise Data，其操作就是把 Teacher Model 的多任务直接进行统一，模型架构变化不大。蒸馏过程也是通用的蒸馏模式，Teacher Model 预测，Student Model 学习。 2.2.1 Teacher Model Inference Teacher Model 预测这一部分没啥可说的，就是把无标签的数据输入到模型中，得到输出的 ner_logits 和 similar_logits。这也是蒸馏模型的常规操作了，这里需要注意的是在使用 Teacher Model 进行预测时，输入的数据是有讲究的，笔者对于这里的理解有两个：一个是是模型输入的是句对数据，只不过从这个句对数据中抽取一条输入到 Recognizer_teacher 中进行识别；另一个是作者采用了 BERT 模型的句对输入方式，输入的就是一个句对，只不过使用了 [SEP] 标签进行分隔，具体是哪一种笔者也不知道，理解了的读者可以告诉笔者一下。而且在 Teacher Model 训练时，笔者也不知道采用哪种数据输入方式。 2.2.2 Student Model Learning Student Model 这一部分输入的就是 target 文本序列对，Student Model 的编码器也是一个双塔的 mBert 模型，分别对输入的 target 序列进行进行编码，这里也是进行一个 BERT+Softmax 的基本操作，在此期间也使用了序列 Token 相似度计算的操作，具体的计算如下所示：

获得两个序列的hidden_state后进行一个线性计算，然后利用softmax进行归一化，得到每个Token预测的标签，计算如下：

这里也类似 Teacher Model 的计算方式，计算 target 序列间的Token相似度，计算如下所示：

当然，这里做的是蒸馏模型，所以对于输入到 Student Model 的序列对，也是Teacher Model Inference 预测模型的输入，通过 Teacher Model 的预测计算得到一个 teacher_ner_logits 和 teacher_similar_logits，将 teacher_ner_logits 分别与 和 通过 CrossEntropyLoss 来计算 TS_ _Loss 和 TS_ _Loss，teacher_similar_logits 与 通过 计算 Similar_Loss，最终将几个 loss 进行相加作为 DistilldeLoss。

这里作者还对每个 TS_ _Loss，TS_ _Loss 分别赋予了权重 ，对 Similar_Loss 赋予了权重 ，对最终的 DistilldeLoss 赋予权重 ，这样的权重赋予能够使得 Student Model 从 Teacher Model 学习到的噪声减少。最终的 Loss 计算如下所示：

这里的权重 笔者认为是用来控制 Student Model 学习倾向的参数，首先对于 来说，由于 Student Model 输入的是 Unlabeled 数据，所以在进行蒸馏学习时，需要尽可能使得 Student Model 的输出的 student_ner_logits 来对齐 Teacher Model 预测输出的 teacher_ner_logits，由于不知道输入的无标签数据的数据分布，所以设置一个权重参数来对整个 Teacher Model 的预测标签进行加权，将各个无标签的输入序列看作一个数据量较少的类别。这里可以参考 在进行数据标签不平衡时使用权重系数对各个标签进行加权的操作。而且作者也分析了， 参数是一个随着 Teacher Model 输出而递增的一个参数。如下图所示：

▲图3.α参数与Weight和F1 作者在文章中也给出了参数 的计算方式，具体而言就是跟 Student Model 的序列编码有关，计算如下所示：

对于 参数而言，其加权的对象是 Similar_Loss，也就是对 Teacher Model 的相似度矩阵和Student Model 的相似度矩阵的交叉熵损失进行加权，参数的设置思路大致是当 Teacher Model 的 Similar_logits 接近 0 或 1 时， 参数就较大，接近 0.5 时就较小，其目的也是让 Student Model 学习更有用的信息，而不是一些似是而非的东西。其计算方式如下所示：

最后对于参数 来说，其作用是用来调整 NER 任务和 Similarity 任务一致性的参数，对于两个输入的 Token，希望 Student Model 从 Teacher Model 的两个任务中学习 Teacher Model 的 NER 任务的高预测准确率和 Similarity 任务远离 0.5 相似度的 Token 信息，反之亦然。其计算方式如下 所示：

实验结果

作者分别在 CoNLL 和 WiKiAnn 数据集上进行了实验，数据使用量如下图所示：

▲图4.CoNLL and WiKiAnn数据 作者还与现有的一些 SOTA 模型进行了对比，实验对比结果如下所示：

▲图5.实验对比结果 从实验对比结果图可以看出，MTMT 模型在各方面都有不错的表现，对于中文上的表现稍微不如 BERT-f 模型，其他部分语言上有着大幅度的领先。

简单代码实现

#!/usr/bin/envpython
#-*-coding:utf-8-*-
#@Time:2022/5/3013:59
#@Author:SinGaln

"""
AnUnsupervisedMultiple-TaskandMultiple-TeacherModelforCross-lingualNamedEntityRecognition
"""

importtorch
importtorch.nnasnn
importtorch.nn.functionalasF
fromtransformersimportBertModel,BertPreTrainedModel,logging

logging.set_verbosity_error()


classTeacherNER(BertPreTrainedModel):
def__init__(self,config,num_labels):
"""
teacher模型是在标签数据上训练得到的,
主要分为三个encoder.
:paramconfig:
:paramnum_labels:
"""
super(TeacherNER,self).__init__(config)
self.config=config
self.num_labels=num_labels
self.mbert=BertModel(config=config)
self.fc=nn.Linear(config.hidden_size,num_labels)

defforward(self,batch_token_input_ids,batch_attention_mask,batch_token_type_ids,batch_labels,training=True,
batch_pair_input_ids=None,batch_pair_attention_mask=None,batch_pair_token_type_ids=None,
batch_t=None):
"""
:parambatch_token_input_ids:单句子token序列
:parambatch_attention_mask:单句子attention_mask
:parambatch_token_type_ids:单句子token_type_ids
:parambatch_pair_input_ids:句对token序列
:parambatch_pair_attention_mask:句对attention_mask
:parambatch_pair_token_type_ids:句对token_type_ids

"""
#RecognizerTeacher
single_output=self.mbert(input_ids=batch_token_input_ids,attention_mask=batch_attention_mask,
token_type_ids=batch_token_type_ids).last_hidden_state
single_output=F.softmax(self.fc(single_output),dim=-1)
#EvaluatorTeacher(类似双塔模型)
pair_output1=self.mbert(input_ids=batch_pair_input_ids[0],attention_mask=batch_pair_attention_mask[0],
token_type_ids=batch_pair_token_type_ids[0]).last_hidden_state
pair_output2=self.mbert(input_ids=batch_pair_input_ids[1],attention_mask=batch_pair_attention_mask[1],
token_type_ids=batch_pair_token_type_ids[1]).last_hidden_state
pair_output=torch.sigmoid(torch.cosine_similarity(pair_output1,pair_output2,dim=-1))#计算两个输出的cosine相似度
iftraining:
#计算loss,训练时采用平均loss作为模型最终的loss
loss1=F.cross_entropy(single_output.view(-1,self.num_labels),batch_labels.view(-1))
loss2=F.binary_cross_entropy(pair_output,batch_t.type(torch.float))
loss=loss1+loss2
returnsingle_output,loss
else:
returnsingle_output,pair_output


classStudentNER(BertPreTrainedModel):
def__init__(self,config,num_labels):
"""
student模型采用的也是一个双塔结构
:paramconfig:mBert的配置文件
:paramnum_labels:标签数量
"""
super(StudentNER,self).__init__(config)
self.config=config
self.num_labels=num_labels
self.mbert=BertModel(config=config)
self.fc1=nn.Linear(config.hidden_size,num_labels)
self.fc2=nn.Linear(config.hidden_size,num_labels)

defforward(self,batch_pair_input_ids,batch_pair_attention_mask,batch_pair_token_type_ids,batch_pair_labels,
teacher_logits,teacher_similar):
"""
:parambatch_pair_input_ids:句对token序列
:parambatch_pair_attention_mask:句对attention_mask
:parambatch_pair_token_type_ids:句对token_type_ids

"""
output1=self.mbert(input_ids=batch_pair_input_ids[0],attention_mask=batch_pair_attention_mask[0],
token_type_ids=batch_pair_token_type_ids[0]).last_hidden_state
output2=self.mbert(input_ids=batch_pair_input_ids[1],attention_mask=batch_pair_attention_mask[1],
token_type_ids=batch_pair_token_type_ids[1]).last_hidden_state
soft_output1,soft_output2=self.fc1(output1),self.fc2(output2)
soft_logits1,soft_logits2=F.softmax(soft_output1,dim=-1),F.softmax(soft_output2,dim=-1)
alpha1,alpha2=torch.square(torch.max(input=soft_logits1,dim=-1)[0]).mean(),torch.square(
torch.max(soft_logits2,dim=-1)[0]).mean()
output_similar=torch.sigmoid(torch.cosine_similarity(soft_output1,soft_output2,dim=-1))
soft_similar=torch.sigmoid(torch.cosine_similarity(soft_logits1,soft_logits2,dim=-1))
beta=torch.square(2*output_similar-1).mean()
gamma=1-torch.abs(soft_similar-output_similar).mean()
#计算蒸馏的loss
#teacherlogits与studentlogits1的loss
loss1=alpha1*(F.cross_entropy(soft_logits1,teacher_logits))
#teachersimilar与studentsimilar的loss
loss2=beta*(F.binary_cross_entropy(soft_similar,teacher_similar))
#teacherlogits与studentlogits2的loss
loss3=alpha2*(F.cross_entropy(soft_logits2,teacher_logits))
#finalloss
loss=gamma*(loss1+loss2+loss3).mean()
returnloss


if__name__=="__main__":
fromtransformersimportBertConfig

pretarin_path="./pytorch_mbert_model"

batch_pair1_input_ids=torch.randint(1,100,(2,128))
batch_pair1_attention_mask=torch.ones_like(batch_pair1_input_ids)
batch_pair1_token_type_ids=torch.zeros_like(batch_pair1_input_ids)
batch_labels1=torch.randint(1,10,(2,128))
batch_labels2=torch.randint(1,10,(2,128))
#t(对比两个序列标签，相同为1，不同为0)
batch_t=torch.as_tensor(batch_labels1.numpy()==batch_labels2.numpy()).float()

batch_pair2_input_ids=torch.randint(1,100,(2,128))
batch_pair2_attention_mask=torch.ones_like(batch_pair2_input_ids)
batch_pair2_token_type_ids=torch.zeros_like(batch_pair2_input_ids)

batch_all_input_ids,batch_all_attention_mask,batch_all_token_type_ids,batch_all_labels=[],[],[],[]
batch_all_labels.append(batch_labels1)
batch_all_labels.append(batch_labels2)
batch_all_input_ids.append(batch_pair1_input_ids)
batch_all_input_ids.append(batch_pair2_input_ids)
batch_all_attention_mask.append(batch_pair1_attention_mask)
batch_all_attention_mask.append(batch_pair2_attention_mask)
batch_all_token_type_ids.append(batch_pair1_token_type_ids)
batch_all_token_type_ids.append(batch_pair2_token_type_ids)

config=BertConfig.from_pretrained(pretarin_path)
#teacher模型训练
teacher_model=TeacherNER.from_pretrained(pretarin_path,config=config,num_labels=10)
outputs,loss=teacher_model(batch_token_input_ids=batch_pair1_input_ids,
batch_attention_mask=batch_pair1_attention_mask,
batch_token_type_ids=batch_pair1_token_type_ids,batch_labels=batch_labels1,
batch_pair_input_ids=batch_all_input_ids,
batch_pair_attention_mask=batch_all_attention_mask,
batch_pair_token_type_ids=batch_all_token_type_ids,
training=True,batch_t=batch_t)
#student模型蒸馏
teacher_logits,teacher_similar=teacher_model(batch_token_input_ids=batch_pair1_input_ids,
batch_attention_mask=batch_pair1_attention_mask,
batch_token_type_ids=batch_pair1_token_type_ids,
batch_labels=batch_labels1,
batch_pair_input_ids=batch_all_input_ids,
batch_pair_attention_mask=batch_all_attention_mask,
batch_pair_token_type_ids=batch_all_token_type_ids,
training=False)

student_model=StudentNER.from_pretrained(pretarin_path,config=config,num_labels=10)
loss_all=student_model(batch_pair_input_ids=batch_all_input_ids,
batch_pair_attention_mask=batch_all_attention_mask,
batch_pair_token_type_ids=batch_all_token_type_ids,
batch_pair_labels=batch_all_labels,teacher_logits=teacher_logits,
teacher_similar=teacher_similar)
print(loss_all)

笔者自己实现的一部分代码，可能不是原论文作者想表达的意思，读者有疑问的话可以一起讨论一下^~^。

---

审核编辑 ：李倩