训练深度学习模型时如何处理大的csv文件？

Question

我有一个用于训练深度学习模型的庞大数据集。它采用 .csv 格式。它大约 2GB，现在，我只是用 pandas 将整个数据加载到内存中。

df = pd.read_csv('test.csv')

然后将所有内容提供到 keras 模型中，然后像下面这样训练模型，

model.fit(df, targets)

我想知道在处理大型数据集时还有哪些其他选择。像大约 10 GB（或）的东西。我没有内存来将所有内容加载到内存中并将其传递给模型。

我能想到的一种方法是以某种方式从 .csv 文件中获取数据的随机样本/子集，并通过数据生成器使用它，但问题是我找不到任何方法来读取csv 文件，无需将所有内容加载到内存中。

如何在不将所有内容加载到内存的情况下训练模型？如果您有任何解决方案并且它使用一些内存，那也没关系。请告诉我。

Answer 1

我以前没有使用过这个功能，但可能是这样的：

class CsvSequence(Sequence):
    def __init__(self, batchnames):
       self.batchnames = batchnames

    def __len__(self):
       return len(self.batchnames)

    def __getitem__(self, i):
       name = self.batchnames[i]
       X = pd.read_csv(name + '-X.csv')
       Y = pd.read_csv(name + '-Y.csv')
       return X, Y

会工作的。您需要通过将 10GB 文件拆分为例如 10 个较小的文件来预处理数据。如果您的 CSV 文件每行有一条记录，则 Unix split 实用程序可能就足够了（大多数情况下）

作为如何使用它的不完整示例：

seq = CsvSequence([
  'data-1', 'data-2', 'data-3'])

model.fit_generator(seq)

但请注意，您很快就会想要做一些更有效率的事情，以上内容会导致您的 CSV 文件被多次读取。如果这次加载比其他所有内容加起来花费的时间更多，我不会感到惊讶

一个建议是在训练之前对文件进行预处理，saving them to numpy binary files。然后二进制文件可以mmaped in while loading 效率更高。