如何将 tensorflow.python.data.ops.dataset_ops.BatchDataset 转换为 numpy 数组？

Question

我有一个图像数据集

|-Train
| |-Defective
  | |-images
| |-Not_Defective
  | |-images

我使用以下函数对这些图像进行了预处理

dir='../input/railwaytrackv4/Dataset _ Railway Track Fault Detection-20210713T183411Z-001/Dataset _ Railway Track Fault Detection/Train'
train_data=tf.keras.utils.image_dataset_from_directory(directory=dir,
                                                        labels='inferred',
                                                        batch_size=32,
                                                        image_size=(256, 256))

它的输出为Found 1469 files belonging to 2 classes.

并且 type(train_data) = tensorflow.python.data.ops.dataset_ops.BatchDataset

如何将此train_data 转换为 numpy 数组？

更新：

我试过了

for x, y in train_data:
   x = x.numpy()
   y = y.numpy()

但它给出了以下输出

2021-11-01 08:48:15.079479: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:185] None of the MLIR Optimization Passes are enabled (registered 2)
2021-11-01 08:48:25.085070: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:175] Filling up shuffle buffer (this may take a while): 250 of 11760
2021-11-01 08:48:35.132351: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:175] Filling up shuffle buffer (this may take a while): 558 of 11760
2021-11-01 08:48:45.122079: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:175] Filling up shuffle buffer (this may take a while): 843 of 11760
2021-11-01 08:48:55.135867: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:175] Filling up shuffle buffer (this may take a while): 1160 of 11760
2021-11-01 08:49:05.080678: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:175] Filling up shuffle buffer (this may take a while): 1455 of 11760
2021-11-01 08:49:05.657894: I tensorflow/core/kernels/data/shuffle_dataset_op.cc:228] Shuffle buffer filled.
2021-11-01 08:49:05.665031: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 1155268608 exceeds 10% of free system memory.

注意： 找到属于 2 个类的 1469 个文件。

Answer 1

tf.keras.utils.image_dataset_from_directory 返回一个 tf.data.Dataset，这是一个花哨的生成器，它产生的值与你在 python 中所期望的一样，唯一的区别是它产生 tensorflow Tensor 对象，所以你只需要将它们转换为 numpy对象使用numpy()方法

x, y = next(train_data)
x = x.numpy()
y = y.numpy()

for x, y in train_data:
   x = x.numpy()
   y = y.numpy()

编辑：

数据集是批处理的，这意味着您将始终分批读取文件。当您定义 tf.keras.utils.image_dataset_from_directory 数据集时，您可能指定了参数 batch_size=29。如果您想一次读取整个数据集，您可以使用 batch_size=735 但请注意 tensorflow 的 Dataset 旨在用作驱动器的生成器。如果您可以将数据集放入内存中，那么您最好自己阅读文件，例如使用tf.keras.utils.load_img。