【问题标题】:How to read pickle files without taking up a lot of memory如何在不占用大量内存的情况下读取泡菜文件
【发布时间】:2017-12-06 21:25:45
【问题描述】:

目前我有一个循环,其中包含:

df = pandas.read_pickle(filepath)

文件约为 100 mb。但是,由于它循环了很多次,它占用了大量内存,然后最终出现内存错误。有没有办法在获得数据框后关闭文件?

我的代码是正确的,因为我用较少的文件对其进行了测试。我只是想要一个替代方法来阅读大型泡菜文件,而不会在阅读后占用太多内存。

【问题讨论】:

  • 显示更多代码,你可能没有覆盖df

标签: python pandas pickle


【解决方案1】:
del df
gc.collect()

擦除引用和垃圾收集器。

编辑,这会从内存中删除你的数据框,你不能关闭文件,获取信息并且不要使用内存。

【讨论】:

    猜你喜欢
    • 2012-09-01
    • 1970-01-01
    • 2019-08-22
    • 2011-10-29
    • 2013-07-30
    • 2023-03-31
    • 2019-07-24
    • 1970-01-01
    相关资源
    最近更新 更多