一项名为“AutoGraph”的TensorFlow新功能

今天，我们将介绍一项名为 “AutoGraph” 的 TensorFlow 新功能。AutoGraph 可以将 Python 代码（包括控制流、print() 和其他 Python 原生功能）转换为纯 TensorFlow 图代码。

要在不使用即时执行的情况下编写 TensorFlow 代码，您需要进行一些元编程，即编写一个用于创建图的程序，然后再执行该图。这种方式可能会令人困惑，特别是对于新开发者而言。一些特别棘手的情况涉及更复杂的模型，例如使用 if 和 while 的模型，或者具有 print() 等副作用或接受结构化输入的模型。

那么，我们为什么需要图呢？图允许各种优化，如移除常见的子表达式和融合内核。此外，由于图形成了一种独立于平台的计算模型，可简化分布式训练和针对各种环境的部署。这对于多个 GPU 或 TPU 上的分布式训练或者通过TensorFlow Lite在移动或物联网等其他平台上分发模型尤为重要。

下面这个简单示例显示了您可能要添加到图的运算：

1def huber_loss(a):

2if tf.abs(a) <= delta:    

3loss = a * a / 2

4else:

5loss = delta * (tf.abs(a) - delta / 2)

6return loss

如果使用即时执行，也可以满足要求，但是由于 Python 解释器开销或错过程序优化机会，这样可能会很慢。

要准备好执行图，您需要进行重写以使用类似 tf.cond() 的语句，但这可能比较繁琐并且难以实现。AutoGraph 可以为您自动执行此转换，既保持了即时编程的简易性，同时又获得了图执行的性能优势。

在本例中，我们可以使用 autograph.convert() 装饰函数，AutoGraph 将自动生成可生成图的代码。

使用 AutoGraph 时，由于装饰器的原因，以下代码：

[e-mail]()

2def huber_loss(a):

3if tf.abs(a) <= delta:    

4loss = a * a / 2

5else:

6loss = delta * (tf.abs(a) - delta / 2)

7return loss

在执行时变为以下代码。

1def tf__huber_loss(a):

2with tf.name_scope('huber_loss'):

3

4def if_true():

5with tf.name_scope('if_true'):

6loss = a * a / 2

7 return loss,

8

9def if_false():

10with tf.name_scope('if_false'):

11 loss = delta * (tf.abs(a) - delta / 2)

12 return loss,

13 loss = ag__.utils.run_cond(tf.less_equal(tf.abs(a), delta), if_true,

14if_false)

15 return loss

然后，您可以将这些代码视为 TensorFlow 运算进行调用：

1with tf.Graph().as_default():

2x_tensor = tf.constant(9.0)

3

4# The converted function works like a regular op: tensors in, tensors out.

5huber_loss_tensor = huber_loss(x_tensor)

6

7with tf.Session() as sess:

8print('TensorFlow result: %2.2f\n' % sess.run(huber_loss_tensor))

如您所见，AutoGraph 填补了即时执行与图之间的差距。AutoGraph 接收即时风格的 Python 代码并将其转换为生成图的代码。

AutoGraph 不仅仅是一组有用的宏，它还使用源代码转换来允许替换 Python 语言的任意部分，包括控制流、函数应用和赋值、生成模板代码，以及重构惯用 Python 以便轻松转换成图。

使用任何编译器，都会对错误消息的可读性产生担忧；为此，AutoGraph 设置为创建错误消息和堆叠追踪，以显示原始源代码中的错误源，而不是仅显示对生成代码的引用。

可运行示例

那么，AutoGraph 可以为我们做什么呢？以下是一些代码示例，现在可以直接转换为图代码而无需任何更改。如果您想实际运行所有这些操作，我们提供了一个笔记本，您可以在Colab中打开或在GitHub中查看。

注：GitHub 链接https://github.com/tensorflow/models/blob/master/samples/core/guide/autograph.ipynb

接下来，我们使用循环和分支来检查Collatz 猜想。请注意，出于多样性考虑，我们将不使用装饰器，而使用 AutoGraph 的 .to_graph() 函数将其转换为图。

1def collatz(a):

2counter = 0

3while a != 1:

4if a % 2 == 0:

5a = a // 2

6else:

7a = 3 * a + 1

8counter = counter + 1

9return counter

10

11graph_mode_collatz = autograph.to_graph(collatz)

12# The code is human-readable, too

13print(autograph.to_code(collatz))

14

15collatz_tensor = graph_mode_collatz(tf.constant(n))

AutoGraph 可以支持任意的嵌套控制流，例如：

1def f(n):

2if n >= 0:

3while n < 5:    

4n += 1

5print(n)

6return n

AutoGraph 允许在循环内向数组追加元素。为此，我们将使用一些 AutoGraph 辅助工具，set_element_type 和 stack。

1def f(n):

2z = []

3# We ask you to tell us the element dtype of the list

4autograph.set_element_type(z, tf.int32)

5for i in range(n):

6z.append(i)

7# when you're done with the list, stack it

8# (this is just like np.stack)

9return autograph.stack(z)

我们还支持 break、continue，甚至 print 和 assert 等语句。转换后，此代码段的 Python assert 转换为使用适当的 tf.Assert 的图。

1def f(x):

2assert x != 0, 'Do not pass zero!'

3return x * x

能够轻松向图添加循环和控制流等，这意味着可以轻松将训练循环转移到图中。您可以在此笔记本中找到相关示例，其中，我们接受一个 RNN 训练循环并用一个 sess.run() 调用执行。在需要将整个训练循环传递给加速器而不是通过 CPU 控制器管理训练的情况下，这样做十分有用。

注：笔记本链接

https://colab.research.google.com/github/tensorflow/models/blob/master/samples/core/guide/autograph.ipynb#scrollTo=4LfnJjm0Bm0B

AutoGraph 开启了构建和训练模型的新思路。我们期待根据开发者社区的建议为 AutoGraph 添加更多功能，因此欢迎您提交问题并给出建议！

图性能与即时执行

即时执行非常简单易用，但图的速度通常要更快。虽然二者的比较基准较为复杂（并且取决于应用和硬件配置），但在这个简单的示例中，我们可以看到，从即时切换到大量使用 if 和 while 的 AutoGraph 代码时，速度有了显著提升。

最终，AutoGraph 允许您在加速器硬件（如 GPU 和Cloud TPU）上使用动态和流控制较多的模型，这在基于大量数据训练大型模型时十分必要。

我们刚刚开始着手分析性能。如果您发现某个图语句的运行速度低于预期，请提交问题！

AutoGraph 和即时执行

虽然使用即时执行时，您仍然可以通过tf.contrib.eager.defun对部分代码使用图执行，但这要求您使用 tf.cond() 等 TensorFlow 图运算。将来，AutoGraph 将与 defun 无缝集成，允许用简单的即时式 Python 语言编写图代码。实现此功能后，您可以通过选择性地将即时代码转换为图片段来使用 AutoGraph 加速热点。

结论

AutoGraph 是一款新工具，可帮您轻松构建能够在 TensorFlow 图中轻松运行的直观、复杂的模型。此工具目前为 contrib 中的实验性工具，但我们希望尽快将它加入到核心 TensorFlow 中。

跟我们分享您的 AutoGraph 使用体验！如果您有任何反馈、建议或想法，请提交问题并向TensorFlow 开发者群组发送消息。