Tensorflow - 使用parallel_interleave从多个tfrecord中读取不同的block_lengths？答案

【问题标题】：Tensorflow - Read different block_lengths from multiple tfrecords with parallel_interleave?Tensorflow - 使用parallel_interleave从多个tfrecord中读取不同的block_lengths？
【发布时间】：2018-06-15 18:40:19
【问题描述】：

我正在尝试读取三个不同长度的大型 tfrecord，并像这样并行读取它们：

files = [ filename1, filename2, filename3 ]

data = tf.data.TFRecordDataset(files)

data = data.apply(
    tf.contrib.data.parallel_interleave(
        lambda filename: tf.data.TFRecordDataset(data),
        cycle_length=3,block_length = [10,5,3]))

data = data.shuffle(
    buffer_size = 100)

data = data.apply(
    tf.contrib.data.map_and_batch(
        map_func=parse, 
        batch_size=100))

data = data.prefetch(10)

，但 TensorFlow 不允许每个文件源使用不同的块长度：

InvalidArgumentError: block_length must be a scalar

我可以创建三个具有不同小批量大小的不同数据集，但这需要 3 倍的资源，而且由于我的机器限制，这不是一个选项。

有哪些可能的解决方案？

【问题讨论】：

标签： python tensor tfrecord

【解决方案1】：

这是答案，我想出了如何在我的限制范围内做到这一点。

为每个文件制作数据集，为每个文件定义每个小批量大小，并将 get_next() 输出连接在一起。这适合我的机器并高效运行。

【讨论】：