Keras 的 predict_generator 未返回正确数量的样本

Question

我正在尝试实现一个自定义数据生成器，它使用pandas.read_csv 以块的形式从 csv 文件中读取数据。我使用model.predict_generator 对其进行了测试，但返回的预测数量少于预期（在我的情况下，253457 中有 248192）。

自定义生成器

class TestDataGenerator:

def __init__(self, directory, batch_size=1024):
    self.directory = directory
    self.batch_size = batch_size
    self.chunk_size=10000
    self.samples = 0

def _to_movie_id(self, ids):
    ids = ast.literal_eval(ids)
    if ids == []:
        return [EMB_MATRIX_SIZE-1]
    else:
        return [movie2idx[str(movie_id)] for movie_id in ids]

def generate(self):
    csv_files = glob.glob(self.directory + '/*.csv')
    while True:
        for file in csv_files:
            df = pd.read_csv(file, chunksize=self.chunk_size)
            for df_chunk in df:
                chunk_steps = math.ceil(len(df_chunk) / self.batch_size)
                for i in range(chunk_steps):
                    batch = df_chunk[i * self.batch_size:(i + 1) * self.batch_size]
                    X_batch, y_batch = self.preprocess(batch)
                    self.samples += len(batch)
                    yield X_batch, y_batch


def preprocess(self, df):
    X_user = df['user'].apply(lambda x: user2idx[str(x)]).values
    X_watched = df['watched'].apply(self._to_movie_id).values
    X_watched_padded = pad_sequences(X_watched, maxlen=SEQ_LENGTH, value=0)

    ohe = df['movie'].apply(lambda x: to_categorical(movie2idx[x], num_classes=len(movie2idx)))
    X = [X_user, X_watched_padded]
    y = np.array([o.tolist() for o in ohe])

    return X, y

运行model.predict_generator

batch_size=1024
n_samples_test = 253457
test_dir = 'folder/'
test_gen = TestDataGenerator(test_dir, batch_size=batch_size)
next_test_gen = test_gen.generate()
preds = model.predict_generator(next_test_gen, steps=math.ceil(n_samples_test/batch_size))

运行model.predict_generator 后，preds 的行数为248192，小于实际的253457。看起来它缺少几个时代。我还单独测试了generate 而没有与 Keras 交互，它的行为与预期的一样，在 csv 文件中返回了正确数量的样本。此外，在generate 产生值之前，我会跟踪使用samples 处理的样本数量。令人惊讶的是，samples 的值是 250000。所以，我很确定我可能对 Keras 做了一些事情。

请注意，我还尝试设置max_queue_size=1，并使generate 线程安全，但没有成功。为了简单起见，我只在test_dir 下放置了 1 个 csv 文件。我正在使用嵌入在 Tensorflow 1.5.0 中的 Keras 2.1.2-tf。

我对如何做到这一点进行了一些研究，但还没有遇到有用的示例。这个实现有什么问题？

谢谢

Peeranat F.

Answer 1

嗯，这很棘手。那么让我们深入研究这个问题：

1. 当提供的批次小于batch_size 时fit_generator 如何工作：如您所见 - 您提供给fit_generator 的许多批次的大小都小于batch_size。每次从每个文件中获取最后一批时都会发生这种情况。通常 - 许多文本不能被批量大小整除，因此没有足够的文本来填充批量。这最终会导致向模型提供的示例更少。

   这是一个棘手的部分 - keras 忽略较小的大小，将其视为有效的生成器步骤并返回不完整批次的值。

2. 那么为什么缺少文本：让我通过示例向您展示。假设您有 2 个文件，每个文件有 5 个文本，而您的 batch_size 是 4。这就是您的批次的样子：

   [1t1, 1t2, 1t3, 1t4], [1t5,], [2t1, 2t2, 2t3, 2t4], [2t5].
   

   如您所见 - 实际所需的步数等于 4 不等于 3 通过采取：math.ceil(10 / 4)。这种方式适用于这些批次：

   [1t1, 1t2, 1t3, 1t4], [1t5, 2t1, 2t2, 2t3], [2t4, 2t5]
   

   但是从你的生成器返回的批次不是这样的。

3. 如何解决这个问题？ - 你需要让你的生成器计算实际所需的步骤数：

   def steps_needed(self):
       steps = 0
       csv_files = glob.glob(self.directory + '/*.csv')
       for file in csv_files:
       df = pd.read_csv(file, chunksize=self.chunk_size)
       for df_chunk in df:
           chunk_steps = math.ceil(len(df_chunk) / self.batch_size)
           steps += chunk_steps
       return steps
   

   此函数准确计算您的生成器将返回多少批次。

干杯:)