是否需要调用 Dataset.repeat()？

Question

在tensorflow tutorial 中，我看到数据集只是像这样打乱了

AUTOTUNE = tf.data.experimental.AUTOTUNE
train_ds = train_ds.cache().shuffle(1000).prefetch(buffer_size=AUTOTUNE)

但我也看到其他人的代码，例如：

ds = ds.cache()
ds = ds.repeat() # ds is a dataset 
ds = ds.shuffle(buffer_size=1000)

我假设从技术上讲，数据集将在每个训练 epoch 后全部消耗，并且应该重复输入到下一个 epoch 的 shuffle 缓冲区。

但为什么第一个教程没有重复？我应该明确地调用 ds repeat 吗？

Answer 1

因此，基于documentation，repeat 确定了样本可以在给定数据集中重复多少次。

dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])
dataset = dataset.repeat(3)
list(dataset.as_numpy_iterator())
[1,2,3,1,2,3,1,2,3]

理想情况下，您不必重复数据集。只有当您想查看它的多个样本时，它才会有所作为。根据您的洗牌，它只会在重复数据集后对其进行洗牌。并且请在repeat() 中有一些参数或值，不要将其保留为无。