用于数字数据框的 Keras 自定义 fit_generator答案

【问题标题】：Keras custom fit_generator for numeric dataframe用于数字数据框的 Keras 自定义 fit_generator
【发布时间】：2019-10-02 09:13:00
【问题描述】：

我有几个 CSV 文件放在一个目录中。我想要做的是从这个目录创建一个流程，在该目录中获取每个文件，预先设置（例如空值填充，异常值处理等），然后将每个数据点传递给 keras 模型，这个过程应该为每个文件重复自己放在目录中。关于创建与 keras 中可用的图像数据相同的数据流的任何建议。这也应该发生在 python 中:)

提前致谢！

【问题讨论】：

标签： python tensorflow keras deep-learning data-science

【解决方案1】：

我不认为 Keras 本身就提供了这样的功能。

您应该制作自己的转换器，使用 glob 之类的东西检查每个文件，将其发送到预处理函数，最后将其保存为 Keras 易于使用的格式，例如 numpy 数组。

您可能想查看here 以获取在模型训练中使用的输入多个文件（尽管在本例中它们已经是 numpy 数组，而不是 csv 文件）的示例。

【讨论】：

这似乎让我陷入了同样的问题，由于数据量很大，因此负载不能立即在 RAM 中发生。我想构建一个管道，它可以继续加载小文件，在 CPU 上进行预处理并馈送到在 GPU 上训练的模型。
如果每个单独的 csv 足够小，可以单独加载，首先编写一个非基于 Keras 的脚本，将每个这样的文件转换为一个 numpy 数组，然后构建一个生成器（train_generator，验证生成器）这将利用这些文件。
宁可将每个小文件保存到 numpy 数组中，我可以在预处理后为每个文件调用 fit 方法吗？它会重置模型的权重还是会从上次迭代中停止的地方开始训练？
你可以写这样的东西，但我一点也不推荐。