10个算法从业人员必须要知道的TensorFlow技巧

首发：AI公园公众号
作者：Rohan Jagtap
编译：ronghuaiyang

导读

掌握这些可以更高效的模型的提高开发效率。

TensorFlow 2.x在构建模型和TensorFlow的整体使用方面提供了很多简单性。那么TF2有什么新变化呢？

使用Keras轻松构建模型，立即执行。

可在任何平台上进行强大的模型部署。

强大的研究实验。

通过清理过时的API和减少重复来简化API。

在本文中，我们将探索TF 2.0的10个特性，这些特性使得使用TensorFlow更加顺畅，减少了代码行数并提高了效率。

1(a). tf.data 构建输入管道

tf.data提供了数据管道和相关操作的功能。我们可以建立管道，映射预处理函数，洗牌或批处理数据集等等。

从tensors构建管道

>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1])>>>iter(dataset).next().numpy()8

构建Batch并打乱

#Shuffle>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).shuffle(6)>>>iter(dataset).next().numpy()0#Batch>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).batch(2)>>>iter(dataset).next().numpy()array([8,3],dtype=int32)#ShuffleandBatch>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).shuffle(6).batch(2)>>>iter(dataset).next().numpy()array([3,0],dtype=int32)

把两个Datsets压缩成一个

>>>dataset0=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1])>>>dataset1=tf.data.Dataset.from_tensor_slices([1,2,3,4,5,6])>>>dataset=tf.data.Dataset.zip((dataset0,dataset1))>>>iter(dataset).next()(,)

映射外部函数

definto_2(num):returnnum*2>>>dataset=tf.data.Dataset.from_tensor_slices([8,3,0,8,2,1]).map(into_2)>>>iter(dataset).next().numpy()16

1(b). ImageDataGenerator

这是tensorflow.keras API的最佳特性之一。ImageDataGenerator能够在批处理和预处理以及数据增强的同时实时生成数据集切片。

生成器允许直接从目录或数据目录中生成数据流。

ImageDataGenerator中关于数据增强的一个误解是，它向现有数据集添加了更多的数据。虽然这是数据增强的实际定义，但是在ImageDataGenerator中，数据集中的图像在训练的不同步骤被动态地变换，使模型可以在未见过的有噪数据上进行训练。

train_datagen=ImageDataGenerator(rescale=1./255,shear_range=0.2,zoom_range=0.2,horizontal_flip=True)

在这里，对所有样本进行重新缩放(用于归一化)，而其他参数用于增强。

train_generator=train_datagen.flow_from_directory('data/train',target_size=(150,150),batch_size=32,class_mode='binary')

我们为实时数据流指定目录。这也可以使用dataframes来完成。

train_generator=flow_from_dataframe(dataframe,x_col='filename',y_col='class',class_mode='categorical',batch_size=32)

_x/_col_参数定义图像的完整路径，而_y/_col_参数定义用于分类的标签列。

模型可直接用生成器来喂数据。需要指定_steps/_per/_epoch_参数，即_number/_of/_samples // batch/_size._

model.fit(train_generator,validation_data=val_generator,epochs=EPOCHS,steps_per_epoch=(num_samples//batch_size),validation_steps=(num_val_samples//batch_size))

2. 使用tf.image做数据增强

数据增强是必要的。在数据不足的情况下，对数据进行更改并将其作为单独的数据点来处理，是在较少数据下进行训练的一种非常有效的方式。

tf.image API中有用于转换图像的工具，然后可以使用tf.data进行数据增强。

flipped=tf.image.flip_left_right(image)visualise(image,flipped)

上面的代码的输出

saturated=tf.image.adjust_saturation(image,5)visualise(image,saturated)

上面的代码的输出

rotated=tf.image.rot90(image)visualise(image,rotated)

上面的代码的输出

cropped=tf.image.central_crop(image,central_fraction=0.5)visualise(image,cropped)

上面的代码的输出

3. TensorFlow Datasets

pipinstalltensorflow-datasets

这是一个非常有用的库，因为它包含了TensorFlow从各个领域收集的非常著名的数据集。

importtensorflow_datasetsastfdsmnist_data=tfds.load("mnist")mnist_train,mnist_test=mnist_data["train"],mnist_data["test"]assertisinstance(mnist_train,tf.data.Dataset)

tensorflow-datasets中可用的数据集的详细列表可以在：https://www.tensorflow.org/da...。

tfds提供的数据集类型包括：音频，图像，图像分类，目标检测，结构化数据，摘要，文本，翻译，视频。

4. 使用预训练模型进行迁移学习

迁移学习是机器学习中的一项新技术，非常重要。如果一个基准模型已经被别人训练过了，而且训练它需要大量的资源(例如：多个昂贵的gpu，一个人可能负担不起)。转移学习，解决了这个问题。预先训练好的模型可以在特定的场景中重用，也可以为不同的场景进行扩展。

TensorFlow提供了基准的预训练模型，可以很容易地为所需的场景扩展。

base_model=tf.keras.applications.MobileNetV2(input_shape=IMG_SHAPE,include_top=False,weights='imagenet')

这个_base/_model_可以很容易地通过额外的层或不同的模型进行扩展。如：

model=tf.keras.Sequential([base_model,global_average_layer,prediction_layer])

5. Estimators

估计器是TensorFlow对完整模型的高级表示，它被设计用于易于扩展和异步训练

预先制定的estimators提供了一个非常高级的模型抽象，因此你可以直接集中于训练模型，而不用担心底层的复杂性。例如:

linear_est=tf.estimator.LinearClassifier(feature_columns=feature_columns)linear_est.train(train_input_fn)result=linear_est.evaluate(eval_input_fn)

这显示了使用tf.estimator. Estimators构建和训练estimator是多么容易。estimator也可以定制。

TensorFlow有许多estimator ，包括LinearRegressor，BoostedTreesClassifier等。

6. 自定义层

神经网络以许多层深网络而闻名，其中层可以是不同的类型。TensorFlow包含许多预定义的层(如density, LSTM等)。但对于更复杂的体系结构，层的逻辑要比基础的层复杂得多。对于这样的情况，TensorFlow允许构建自定义层。这可以通过子类化tf.keras.layers来实现。

classCustomDense(tf.keras.layers.Layer):def__init__(self,num_outputs):super(CustomDense,self).__init__()self.num_outputs=num_outputsdefbuild(self,input_shape):self.kernel=self.add_weight("kernel",shape=[int(input_shape[-1]),self.num_outputs])defcall(self,input):returntf.matmul(input,self.kernel)

正如在文档中所述，实现自己的层的最好方法是扩展 tf.keras.Layer类并实现：

/__init/__，你可以在这里做所有与输入无关的初始化。

_build_，其中你知道输入张量的形状，然后可以做剩下的初始化工作。

_call_，在这里进行前向计算。

虽然kernel的初始化可以在*/_init/__中完成，但是最好在_build_中进行初始化，否则你必须在创建新层的每个实例上显式地指定_input/_shape*。

7. 自定义训练

tf.keras Sequential 和Model API使得模型的训练更加容易。然而，大多数时候在训练复杂模型时，使用自定义损失函数。此外，模型训练也可能不同于默认训练(例如，分别对不同的模型组件求梯度)。

TensorFlow的自动微分有助于有效地计算梯度。这些原语用于定义自定义训练循环。

deftrain(model,inputs,outputs,learning_rate):withtf.GradientTape()ast:#ComputingLossesfromModelPredictioncurrent_loss=loss(outputs,model(inputs))#GradientsforTrainableVariableswithObtainedLossesdW,db=t.gradient(current_loss,[model.W,model.b])#ApplyingGradientstoWeightsmodel.W.assign_sub(learning_rate*dW)model.b.assign_sub(learning_rate*db)

这个循环可以在多个epoch中重复，并且根据用例使用更定制的设置。

8. Checkpoints

保存一个TensorFlow模型可以有两种方式：

SavedModel：保存模型的完整状态以及所有参数。这是独立于源代码的。model.save_weights('checkpoint')

Checkpoints

Checkpoints 捕获模型使用的所有参数的值。使用Sequential API或Model API构建的模型可以简单地以SavedModel格式保存。

然而，对于自定义模型，checkpoints是必需的。

检查点不包含模型定义的计算的任何描述，因此通常只有当源代码可用时，保存的参数值才有用。

保存 Checkpoint

checkpoint_path=“save_path”#DefiningaCheckpointckpt=tf.train.Checkpoint(model=model,optimizer=optimizer)#CreatingaCheckpointManagerObjectckpt_manager=tf.train.CheckpointManager(ckpt,checkpoint_path,max_to_keep=5)#SavingaModelckpt_manager.save()

从 Checkpoint 加载模型

TensorFlow从被加载的对象开始，通过遍历带有带有名字的边的有向图来将变量与检查点值匹配。

ifckpt_manager.latest_checkpoint:ckpt.restore(ckpt_manager.latest_checkpoint)

9. Keras Tuner

这是TensorFlow中的一个相当新的特性。

!pipinstallkeras-tuner

超参数调优调优是对定义的ML模型配置的参数进行筛选的过程。在特征工程和预处理之后，这些因素是模型性能的决定性因素。

#model_builderisafunctionthatbuildsamodelandreturnsittuner=kt.Hyperband(model_builder,objective='val_accuracy',max_epochs=10,factor=3,directory='my_dir',project_name='intro_to_kt')

除了HyperBand之外，BayesianOptimization和RandomSearch 也可用于调优。

tuner.search(img_train,label_train,epochs=10,validation_data=(img_test,label_test),callbacks=[ClearTrainingOutput()])#Gettheoptimalhyperparametersbest_hps=tuner.get_best_hyperparameters(num_trials=1)[0]

然后，我们使用最优超参数训练模型：

model=tuner.hypermodel.build(best_hps)model.fit(img_train,label_train,epochs=10,validation_data=(img_test,label_test))

10. 分布式训练

如果你有多个GPU，并且希望通过分散训练循环在多个GPU上优化训练，TensorFlow的各种分布式训练策略能够优化GPU的使用，并为你操纵GPU上的训练。

tf.distribute.MirroredStrategy是最常用的策略。它是如何工作的呢？

所有的变量和模型图被复制成副本。

输入均匀分布在不同的副本上。

每个副本计算它接收到的输入的损失和梯度。

同步的所有副本的梯度并求和。

同步后，对每个副本上的变量进行相同的更新。

strategy=tf.distribute.MirroredStrategy()withstrategy.scope():model=tf.keras.Sequential([tf.keras.layers.Conv2D(32,3,activation='relu',input_shape=(28,28,1)),tf.keras.layers.MaxPooling2D(),tf.keras.layers.Flatten(),tf.keras.layers.Dense(64,activation='relu'),tf.keras.layers.Dense(10)])model.compile(los,optimize,metrics=['accuracy'])

审核编辑 黄昊宇