TensorFlow CIFAR-10 示例教程中的 distorted_inputs() 函数如何获得每批 128 张图像？

Question

我在 TensorFlow getting started guide for CNN 浏览 CIFAR-10 示例

现在在 cifar10_train.py 的 train 函数中，我们得到的图像是

images,labels = cifar10.distorted_inputs()

在distorted_inputs() 函数中，我们在队列中生成文件名，然后读取单个记录

 # Create a queue that produces the filenames to read.
 filename_queue = tf.train.string_input_producer(filenames)

 # Read examples from files in the filename queue.
 read_input = cifar10_input.read_cifar10(filename_queue)
 reshaped_image = tf.cast(read_input.uint8image, tf.float32)

当我添加调试代码时，read_input 变量仅包含 1 条记录，其中包含图像及其高度、宽度和标签名称。

该示例然后对读取的图像/记录应用一些失真，然后将其传递给_generate_image_and_label_batch() 函数。

然后，此函数返回一个形状为 [batch_size, 32, 32, 3] 的 4D 张量，其中 batch_size = 128。

上述函数在返回批处理时使用tf.train.shuffle_batch() 函数。

我的问题是tf.train.shuffle_batch() 函数中的额外记录来自哪里？我们没有向它传递任何文件名或阅读器对象。

有人能解释一下我们是如何从 1 条记录变成 128 条记录的吗？我查看了文档但不明白。

Answer 1

tf.train.shuffle_batch() 函数可用于生成（一个或多个）包含一批输入的张量。在内部，tf.train.shuffle_batch() 创建了一个tf.RandomShuffleQueue，它使用图像和标签张量在其上调用q.enqueue() 以将单个元素（图像-标签对）排入队列。然后它返回q.dequeue_many(batch_size) 的结果，它将batch_size 随机选择的元素（图像-标签对）连接成一批图像和一批标签。

请注意，虽然从代码中看起来read_input 和filename_queue 有函数关系，但还有一个额外的问题。简单地评估tf.train.shuffle_batch() 的结果将永远阻塞，因为没有元素被添加到内部队列中。为了简化这一点，当您调用 tf.train.shuffle_batch() 时，TensorFlow 会在图中的内部集合中添加一个 QueueRunner。稍后对tf.train.start_queue_runners()（例如here in cifar10_train.py）的调用将启动一个线程，将元素添加到队列中，并使训练继续进行。 Threading and Queues HOWTO 提供有关其工作原理的更多信息。