Shuffle batches fit_generator Keras 逐行处理

Question

我正在使用 Python Keras 的 fit_generator() 在 30M 行文件（每行是一个样本）上训练深度学习模型，该模型实现了批量训练。由于样本的大小非常不同，出于效率原因，我使用分桶，以避免批次稀疏。

为此，我通过增加行大小对文件进行排序，并编写了一个生成器，它遍历行并在每次处理 n_batch 行时产生一个批处理：

def generate_batches_from_file():
while True:        
    doc_list = []
    with open(path_to_file) as docs: 
        for my_counter,doc in enumerate(docs):
            doc_list.append(doc)            
            if my_counter % batch_size == 0:
                doc_array = truncation_padding_other_stuff(doc_list)
                yield(doc_array)

这样，每批中的样本具有相等或非常相似的大小，并且产生的张量是密集的。

但在深度学习中，最佳实践要求批次不是在每个 epoch 都以相同的顺序传递给模型（出于正则化目的）。

如何在我的设置中打乱批次，因为我是动态生成的，而且我必须逐行处理大型排序输入文件以进行分桶？ p>

请注意，我不想在每个批次中打乱样本，我希望 批次 在每个时期以不同的顺序传递。

编辑：我最终将每个批次写入磁盘并拥有一个生成器，它在迭代路径列表之前对其进行洗牌。 GitHub 上的最终代码：https://github.com/Tixierae/deep_learning_NLP/blob/master/HAN/preprocessing.py

Answer 1

为简单起见，假设您有 1000 个训练样本（用 n_samples 表示）并且批次大小设置为 10。您已对行进行了排序，因此批次为：(docs[0],...,docs[9]), (docs[10],...,docs[19]),...,(docs[990],...,docs[999])。因此，要以不同的顺序生成批次，您可以轻松地存储每个批次的起始索引，然后在每个 epoch 开始时将它们打乱：

import numpy as np

def generate_batches_from_file():
    indices = np.arange(0, n_samples, batch_size) 
    while True:
        # shuffle the indices each time to generate batches in different order
        np.random.shuffle(indices)
        with open(path_to_file) as docs:
            for idx in indices:
                doc_array = truncation_padding_other_stuff(docs[idx:idx+batch_size])
                yield(doc_array)