【问题标题】:Computer hangs on large pickle dump [closed]计算机挂在大型泡菜转储上[关闭]
【发布时间】:2017-07-13 15:08:24
【问题描述】:

如果我保存大型泡菜文件,有时我的电脑会挂起。如何解决这个问题或用其他东西替换泡菜?

更新

计算机实际上是挂起,它不是“接近内存限制”。此外,这种情况并非 100% 发生,因此原则上可以腌制如此大的数组。

更新 2

我的耻辱:泡菜没有罪。在 40000 张图片列表中调用了 numpy.stack

更新 3

不,pickle 也会挂起,即使在numpy.stack 问题得到修复之后也是如此。

【问题讨论】:

  • 尝试使用 cPickle。 import cPickle as pickle
  • 天啊,笑话。文件有多大?您是否认为将相当大小的文件保存到磁盘是需要相当长的时间的其他方式?
  • 别偷懒!这真的没什么好用的。您至少可以展示一些分析,例如my memory-consumption approaches 100% and therefore i think my OS is trashing。还是hang 是一个技术术语? :-)。 picklingsaving 有问题吗?
  • @cᴏʟᴅsᴘᴇᴇᴅ _cpickle 不支持大于 4Gb 的文件
  • 如果您要处理超过 4GB 的文件,那么您真的没有太多选择...

标签: python pickle


【解决方案1】:

能否提供这个序列化数据的内容?

pickle 手册的片段:

pickle 模块对错误或恶意构造的数据不安全。永远不要取消从不受信任或未经身份验证的来源收到的数据。

因此,使用泡菜可能会导致执行额外的代码,即无限循环。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2023-03-25
    • 2010-09-06
    • 1970-01-01
    • 2020-04-19
    • 2015-02-03
    • 1970-01-01
    • 2010-09-16
    相关资源
    最近更新 更多