如何将光栅格式的标签数据加载到 Keras/Tensorflow 中

Question

我想使用 CNN 网络将 2 个对象（二进制：“0：对象不存在，1：对象存在”）分割成形状，但我遇到了数据问题。训练数据是 150 幅图像，格式为“jpg”，而基本事实（标签数据）也是 150 幅 0 和 1 的“png”栅格图像（产生黑白图像）。

现在的问题是如何在 Keras/Tensorflow 中加载这种混合的训练图像和标签图像，如果有一个虚拟示例和/或演示如何在 Python 中执行此操作，我将不胜感激。

Answer 1

您可以使用ImageDataGenerator 类及其flow_from_directory() 方法定义一个用于读取输入图像的生成器和另一个用于读取标签的生成器，然后将这两个生成器组合在一个生成器中。只要确保输入和标签图像的目录结构和（顺序）文件名相同即可：

data_image_gen = ImageDataGenerator(...)
data_label_gen = ImageDataGenerator(...)

image_gen = data_image_gen.flow_from_directory(image_directory,
                # no need to return labels
                class_mode=None,
                # don't shuffle to have the same order as labels
                shuffle=False)

image_gen = data_image_gen.flow_from_directory(label_directory,
                color_mode='grayscale',
                # no need to return labels
                class_mode=None,
                # don't shuffle to have the same order as images 
                shuffle=False)

def final_gen(image_gen, label_gen):
    for data, labels in zip(image_gen, label_gen):
        # divide labels by 255 to make them like masks i.e. 0 and 1
        labels /= 255.
        # remove the last axis, i.e. (batch_size, n_rows, n_cols, 1) --> (batch_size, n_rows, n_cols)
        labels = np.squeeze(labels, axis=-1)

        yield data, labels

# ... define your model

# fit the model
model.fit_generator(final_gen(image_gen, label_gen), ...)