在 python 中快速迭代文件读取

Question

我问了一个问题here，关于如何将一个非常大的文件读入python，我得到了一个基于zip_longest的回复。

问题是这个解决方案非常慢 - keras 的 model.predict 需要 >2 小时来处理文件中的 200,000 行，当文件直接加载到内存中时通常需要

后来我在 pandas 中找到了分块功能，但我不明白如何加载文件块，重塑数据然后使用这些方法使用它，我也不知道这是否会读取和使用超大文件中数据的最快方式。

欢迎任何对此问题的快速解决方案。

Answer 1

如果您正在寻找快速执行的迭代 python 函数，您应该查看 itertools 包 + 文档。我很确定它不会比这更快。

但请注意，如果您忽略任何类型的预处理或整形，您将在处理大型数据集时达到最大性能。想象一下你的 2e5 行文件只包含一个字符（1 个字节）的信息。这仍然需要读取 200 MB 的信息，如果我理解正确的话，这是你可以想象的下限。因此，如果您一次性获得 3 或 4 GB 的信息，您将不得不面对较长的口译时间。