为什么熊猫数据框消耗的 RAM 比原始文本文件的大小要多得多？

Question

我正在尝试使用 pandas pd.read_csv("file.txt",sep="\t") 将一个大的 tab/txt（大小 = 3 gb）文件导入 Python。我加载的文件是一个“.tab”文件，我将扩展名更改为“.txt”以使用read_csv() 导入它。这是一个包含 305 列和 +/- 1 000 000 行的文件。

当我执行代码时，一段时间后 Python 返回一个 MemoryError。我搜索了一些信息，这基本上意味着没有足够的 RAM 可用。当我在 read_csv() 中指定 nrows = 20 时，它工作正常。

我使用的计算机有 46gb 的 RAM，其中大约 20gb 可用于 Python。

我的问题：如何使用 pandas read_csv() 将 3gb 的文件需要超过 20gb 的 RAM 导入 Python？我做错什么了吗？

编辑：在执行df.dtypes 时，类型是object、float64 和int64 的混合类型

更新：我使用以下代码来解决问题并执行我的计算：

summed_cols=pd.DataFrame(columns=["sample","read sum"])
while x<352:
    x=x+1
    sample_col=pd.read_csv("file.txt",sep="\t",usecols=[x])
    summed_cols=summed_cols.append(pd.DataFrame({"sample":[sample_col.columns[0]],"read sum":sum(sample_col[sample_col.columns[0]])}))
    del sample_col

它现在选择一列，执行计算，将结果存储在数据框中，删除当前列，然后移动到下一列

Answer 1

Pandas 正在切割文件，并单独存储数据。我不知道数据类型，所以我会假设最坏的情况：字符串。

在 Python（在我的机器上）中，一个空字符串需要 49 个字节，如果是 ASCII，则每个字符需要一个额外的字节（如果是 Unicode，则需要 74 个字节，每个字符需要额外的 2 个字节）。对于一行 305 个空字段，这大约是 15Kb。 100 万个这样的行大约需要 22Gb 的内存，而在 CSV 文件中大约需要 437 Mb。

Pandas/numpy 擅长处理数字，因为它们可以非常紧凑地表示数字序列（就像 C 程序一样）。一旦你离开与 C 兼容的数据类型，它就会像 Python 一样使用内存，这……不是很节俭。