TensorFlow中读数据三种方法

在TensorFlow中读数据一般有三种方法：

使用placeholder读内存中的数据

使用queue读硬盘中的数据

使用Dataset读内存个硬盘中的数据

基本概率

由于第三种方法在语法上更简洁，因此本文主要介绍第三种方法。官方给出的Dataset API类图：

image.png

其中终于重要的两个基础类：Dateset和Iterator。Dateset是具有相同类型的“元素”的有序表，元素可以是向量、字符串、图片等。

从内存中创建Dataset

以数字元素为例：

例1

从Dataset中实例化一个Iterator，然后对Iterator进行迭代。

iterator = dataset.make_one_shot_iterator()

从dataset中实例化一个iterator，是“one shot iterator”，即只能从头到尾读取一次。

one_element = iterator.get_next()

从iterator中取出一个元素， one_element是一个tensor，因此需要调用sess.run(one_element)取出值。

如果元素被读取完了，再sess.run(one_element)会抛出tf.errors.OutOfRangeError异常。解决方法：使用 dataset.repeat()

更复杂的输入形式，例如，在图像识别的应用中，一个元素可以使{“image”：image_tensor， “label”：lable_tensor}

dataset = tf.data.Dataset.from_tensor_slices( { "a": np.array([1.0, 2.0, 3.0, 4.0, 5.0]), "b": np.random.uniform(size=(5, 2)) } )

最终dataset中的一个元素为{"a": 1.0, "b": [0.9, 0.1]}的形式。或者

dataset = tf.data.Dataset.from_tensor_slices( (np.array([1.0, 2.0, 3.0, 4.0, 5.0]), np.random.uniform(size=(5, 2))) )

对Dataset中的元素做变换：Transformation

一个Dataset通过Transformation变成一个新的Dataset。常用的操作有：

map

batch

shuffle

repeat

下面分别来介绍以上几个操作。（1）mapmap接收一个函数，dataset中的每个元素都可以作为这个函数的输入，并将函数的返回值作为新的dataset，例如：

dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0])) dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0

（2）batch将多个元素组合成batch，例如：

dataset = dataset.batch(32)

（3）shuffle打乱dataset中的元素，参数buffersize表示打乱时buffer的大小。

dataset = dataset.shuffle(buffer_size=10000)

（4）repeat将整个序列重复多次，只用用来处理epoch。如果直接调用repeat()的话，生成的序列就会无限重复下去，没有结束，因此也不会抛出。tf.errors.OutOfRangeError异常：

dataset = dataset.repeat(5)

例子：读磁盘图片与对应的label

读入磁盘中的图片和图片相应的label，并将其打乱，组成batch_size=32的训练样本。在训练时重复10个epoch。

# 函数的功能时将filename对应的图片文件读进来，并缩放到统一的大小def _parse_function(filename, label): image_string = tf.read_file(filename) image_decoded = tf.image.decode_image(image_string) image_resized = tf.image.resize_images(image_decoded, [28, 28]) return image_resized, label# 图片文件的列表filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...])# label[i]就是图片filenames[i]的labellabels = tf.constant([0, 37, ...])# 此时dataset中的一个元素是(filename, label)dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))# 此时dataset中的一个元素是(image_resized, label)dataset = dataset.map(_parse_function)# 此时dataset中的一个元素是(image_resized_batch, label_batch)dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)# 此时dataset中的一个元素是(image_resized_batch, label_batch)# image_resized_batch的形状为(32, 28, 28, 3)， label_batch的形状为(32, )