TensorFlow TFRecordDataset shuffle buffer_size 行为

Question

我不清楚tf.TFRecordDataset 中的buffer_size 参数的作用。假设我们有以下代码：

dataset = dataset.shuffle(buffer_size=10000).repeat().batch(batch_size)

这是否意味着只有前 10k 个样本将被使用并永远重复，还是我会遍历整个数据集？如果不是，它到底是什么？那么这段代码呢？

dataset = dataset.repeat().shuffle(buffer_size=10000).batch(batch_size)

我注意到this post，但它没有提到buffer_size。

Answer 1

这个answer 可能有助于更好地理解shuffle 方法的buffer_size 参数。

简而言之，数据集的缓冲区中总是有超过buffer_size 个元素，并且每次添加元素时都会对该缓冲区进行洗牌。

因此，缓冲区大小为 1 就像不洗牌，拥有数据集长度的缓冲区就像传统的洗牌。

---

要了解shuffle和repeat数据集的正确顺序，请看官方performance guide。

最佳做法通常是随机播放然后重复，因为这将确保您在每个时期都能看到整个数据集。