电子发烧友网>电子资料下载>电子资料>PyTorch教程16.5之自然语言推理：使用注意力

PyTorch教程16.5之自然语言推理：使用注意力

2513560 2023-06-05 | pdf | 0.34 MB | 次下载 | 免费

资料介绍

我们在16.4 节介绍了自然语言推理任务和 SNLI 数据集。鉴于许多基于复杂和深层架构的模型， Parikh等人。( 2016 )提出用注意力机制解决自然语言推理，并将其称为“可分解注意力模型”。这导致模型没有循环层或卷积层，在 SNLI 数据集上以更少的参数获得了当时最好的结果。在本节中，我们将描述和实现这种用于自然语言推理的基于注意力的方法（使用 MLP），如图 16.5.1所示。

https://file.elecfans.com/web2/M00/AA/48/pYYBAGR9PMOARtlZAAKKcqUaWlU524.svg

图 16.5.1本节将预训练的 GloVe 提供给基于注意力和 MLP 的架构以进行自然语言推理。

16.5.1。该模型

比保留前提和假设中标记的顺序更简单的是，我们可以将一个文本序列中的标记与另一个文本序列中的每个标记对齐，反之亦然，然后比较和聚合这些信息以预测前提和假设之间的逻辑关系。类似于机器翻译中源句和目标句之间的 token 对齐，前提和假设之间的 token 对齐可以通过注意力机制巧妙地完成。

https://file.elecfans.com/web2/M00/AA/48/pYYBAGR9PMaALy2sAASFcYMHqHw144.svg

图 16.5.2使用注意机制的自然语言推理。

图 16.5.2描述了使用注意机制的自然语言推理方法。在高层次上，它由三个联合训练的步骤组成：参与、比较和聚合。我们将在下面逐步说明它们。

							import torch
from torch import nn
from torch.nn import functional as F
from d2l import torch as d2l

							 

							from mxnet import gluon, init, np, npx
from mxnet.gluon import nn
from d2l import mxnet as d2l

npx.set_np()

16.5.1.1。出席

第一步是将一个文本序列中的标记与另一个序列中的每个标记对齐。假设前提是“我确实需要睡觉”，假设是“我累了”。由于语义相似，我们可能希望将假设中的“i”与前提中的“i”对齐，并将假设中的“tired”与前提中的“sleep”对齐。同样，我们可能希望将前提中的“i”与假设中的“i”对齐，并将前提中的“需要”和“睡眠”与假设中的“疲倦”对齐。请注意，使用加权平均的这种对齐是软的，其中理想情况下较大的权重与要对齐的标记相关联。为了便于演示，图 16.5.2以硬方式显示了这种对齐方式。

现在我们更详细地描述使用注意机制的软对齐。表示为 A=(a1,…,am)和 B=(b1,…,bn)前提和假设，其标记数为m和n，分别在哪里 ai,bj∈Rd (i=1,…,m,j=1,…,n) 是一个d维词向量。对于软对齐，我们计算注意力权重 eij∈R作为

(16.5.1)eij=f(ai)⊤f(bj),

哪里的功能f是在以下函数中定义的 MLP mlp 。的输出维度fnum_hiddens由的参数指定 mlp。

								def mlp(num_inputs, num_hiddens, flatten):
  net = []
  net.append(nn.Dropout(0.2))
  net.append(nn.Linear(num_inputs, num_hiddens))
  net.append(nn.ReLU())
  if flatten:
    net.append(nn.Flatten(start_dim=1))
  net.append(nn.Dropout(0.2))
  net.append(nn.Linear(num_hiddens, num_hiddens))
  net.append(nn.ReLU())
  if flatten:
    net.append(nn.Flatten(start_dim=1))
  return nn.Sequential(*net)

								 

								def mlp(num_hiddens, flatten):
  net = nn.Sequential()
  net.add(nn.Dropout(0.2))
  net.add(nn.Dense(num_hiddens, activation='relu', flatten=flatten))
  net.add(nn.Dropout(0.2))
  net.add(nn.Dense(num_hiddens, activation='relu', flatten=flatten))
  return net

								 