Gluon的动态图和高性能 - 叫板谷歌,亚马逊微软推出深度学习库 训练神经网络更加简单

动态图

在某些情况下，神经网络模型可能需要在训练过程改变形状和大小。特别是当输入到神经网络的数据输入是可变的时，这是必需的。这在自然语言处理（NLP）中很常见，因为在自然语言处理中，每个句子的输入都可以是不同的长度。使用Gluon，神经网络定义可以是动态的，这意味着你可以随时构建任何你想要的结构，并使用任何Python的控制流。

例如，这些动态的神经网络结构使构建一个树结构的长短期记忆（LSTM）模型变得更容易，这是Kai Sheng Tai、Richard Socher和Chris Manning在2015年提出的，是NLP的一个重要发展。Tree LSTM 是一种强大的模型，它可以识别一对句子是否具有相同的含义。下面的例子中，两个句子有着相同的意思：

“Michael threw the football in front of the player.”（迈克尔把足球扔到球员面前。）

“The ball was thrown short of the target by Michael.”（球被迈克尔扔出目标。）

我们可以仅将这些句子输入一个循环神经网络（一种流行的序列学习模型）来进行分类。但是，树形LSTM的主要观点是，我们经常在需要先备知识的语言方面遇到问题。例如，句子有语法结构，我们有强大的工具可以从句子中提取出这个结构。我们可以用一个树形结构的神经网络来组合这些单词，它的结构模仿了句子中已知的语法树结构，如下图所示：

（The Stanford Natural Language Processing Group）

这就需要为每个例子构建一个不同的神经网络结构。使用传统框架这很难实现，但是Gluon可以解决这个问题。在下面的代码片断中，你可以看到如何在模型训练的每个前向迭代中合并一个循环，并且仍然受益于autograd和trainer的简化。这使模型能够遍历一个句子的树结构，从而基于该结构学习。

高性能

有了Gluon提供的灵活性，你就可以很容易地设计原型并尝试使用神经网络模型。然后，当速度变得比灵活性更重要时（例如，当你准备好输入所有的训练数据时），Gluon接口能够轻松地缓存神经网络模型以实现高性能，并减少内存占用。当你完成原型并准备在一个更大的数据集上测试，只需要小的调整。你必须使用HybridSequential，而不是使用 Sequential（如前面的例子所示）来堆栈神经网络的层。HybridSequential的功能与Sequential相同，但是它允许调用底层的优化引擎来表达模型的部分或全部架构。

接下来，为了编译和优化 HybridSequential，我们可以调用它的hybridize 方法：

　　net.hybridize（）

现在，当你训练模型时，将能够获得与本机MXNet接口相同的高性能，同时减少内存使用。