【发布时间】:2017-07-13 15:08:24
【问题描述】:
如果我保存大型泡菜文件,有时我的电脑会挂起。如何解决这个问题或用其他东西替换泡菜?
更新
计算机实际上是挂起,它不是“接近内存限制”。此外,这种情况并非 100% 发生,因此原则上可以腌制如此大的数组。
更新 2
我的耻辱:泡菜没有罪。在 40000 张图片列表中调用了 numpy.stack。
更新 3
不,pickle 也会挂起,即使在numpy.stack 问题得到修复之后也是如此。
【问题讨论】:
-
尝试使用 cPickle。
import cPickle as pickle -
天啊,笑话。文件有多大?您是否认为将相当大小的文件保存到磁盘是需要相当长的时间的其他方式?
-
别偷懒!这真的没什么好用的。您至少可以展示一些分析,例如
my memory-consumption approaches 100% and therefore i think my OS is trashing。还是hang是一个技术术语? :-)。pickling或saving有问题吗? -
@cᴏʟᴅsᴘᴇᴇᴅ
_cpickle不支持大于 4Gb 的文件 -
如果您要处理超过 4GB 的文件,那么您真的没有太多选择...