keras model.predict_generator() 没有返回正确数量的实例答案

【问题标题】：keras model.predict_generator() not returning the correct number of instanceskeras model.predict_generator() 没有返回正确数量的实例
【发布时间】：2018-09-07 09:49:19
【问题描述】：

我已经按照以下链接学习使用generator 为keras 模型到fit_generator 上。 https://stanford.edu/~shervine/blog/keras-how-to-generate-data-on-the-fly 我遇到的一个问题是，当我在某些测试数据生成器上调用model.predict_generator() 时，返回值的长度与我在生成器中发送的长度不同。我的测试数据长度为229431，我使用的batch_size为256，当我在generator类中定义__len__函数时如下：

class DataGenerator(keras.utils.Sequence):
    """A simple generator"""

    def __init__(self, list_IDs, labels, dim, dim_label, batch_size=512, shuffle=True, is_training=True):
        """Initialization"""
        self.list_IDs = list_IDs
        self.labels = labels
        self.dim = dim
        self.dim_label = dim_label
        self.batch_size = batch_size
        self.shuffle = shuffle
        self.is_training = is_training
        self.on_epoch_end()

    def __len__(self):
        """Denotes the number of batches per epoch"""
        return int(np.ceil(len(self.list_IDs) / self.batch_size))

    def __getitem__(self, index):
        """Generate one batch of data"""
        # Generate indexes of the batch
        indexes = self.indexes[index * self.batch_size: (index + 1) * self.batch_size]

        # Find list of IDs
        list_IDs_temp = [self.list_IDs[k] for k in indexes]
        list_labels_temp = [self.labels[k] for k in indexes]

        # Generate data
        result = self.__data_generation(list_IDs_temp, list_labels_temp, self.is_training)
        if self.is_training:
            X, y = result
            return X, y
        else:
            # only return X when test
            X = result
            return X

    def on_epoch_end(self):
        """Updates indexes after each epoch"""
        self.indexes = np.arange(len(self.list_IDs))
        if self.shuffle:
            np.random.shuffle(self.indexes)

    def __data_generation(self, list_IDs_temp, list_labels_temp, is_training):
        """Generates data containing batch_size samples"""
        # Initialization
        # X is a list of np.array
        X = np.empty((self.batch_size, *self.dim))
        if is_training:
            # y could have multiple columns
            y = np.empty((self.batch_size, *self.dim_label), dtype=int)

        # Generate data
        for i, (ID, label) in enumerate(zip(list_IDs_temp, list_labels_temp)):
            # Store sample
            X[i,] = np.load(ID)
            if is_training:
                # Store class
                y[i,] = np.load(label)
        if is_training:
            return X, y
        else:
            return X

我的预测值的返回长度是229632，这里是predict的代码：

test_generator = DataGenerator(partition, labels, is_training=False, **self.params)
        predict_raw = self.model.predict_generator(generator=test_generator, workers=12, verbose=2)

我认为 229632 / 256 = 897 是我的生成器的长度，当我将 DataGenerator 的 __len__ 方法修改为 return int(np.ceil(len(self.list_IDs) / self.batch_size)) 时，我得到 229376 个预测值，229376/256 = 896，即正确的长度数。但是我传递给生成器的是 229431 个样本。

而且我认为在__getitem__ 方法中，在最后一批运行时，它应该只自动获取少于 256 个样本进行测试。但显然情况并非如此，那么如何确保模型预测正确的样本数量？

【问题讨论】：

标签： python tensorflow keras generator

【解决方案1】：

对于最后一批，在方法@987654322@ 中计算的索引大小不正确。为了预测正确的样本数量，索引应该定义如下（参见post）：

def __getitem__(self, index):
    """Generate one batch of data"""
    idx_min = idx*self.batch_size
    idx_max = min(idx_min + self.batch_size, len(self.list_IDs))
    indexes = self.indexes[idx_min: idx_max]

    ...

【讨论】：