从 zipfile 加载 pickle 文件

Question

由于某种原因，我无法让 cPickle.load 处理 ZipFile.open() 返回的文件类型对象。 如果我在 ZipFile.open() 返回的文件类型对象上调用 read()，我可以使用 cPickle.loads。

示例 ....

import zipfile
import cPickle

# the data we want to store
some_data = {1: 'one', 2: 'two', 3: 'three'}

#
# create a zipped pickle file
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'w', zipfile.ZIP_DEFLATED)
zf.writestr('data.pkl', cPickle.dumps(some_data))
zf.close()

#
# cPickle.loads works
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'r')
sd1 = cPickle.loads(zf.open('data.pkl').read())
zf.close()

#
# cPickle.load doesn't work
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'r')
sd2 = cPickle.load(zf.open('data.pkl'))
zf.close()

注意：我不想只压缩 pickle 文件，而是压缩许多其他类型的文件。这只是一个例子。

Answer 1

这是由于zipfile 模块实现的伪文件对象存在缺陷（对于Python 2.6 中引入的ZipFile 类的.open 方法）。考虑：

>>> f = zf.open('data.pkl')
>>> f.read(1)
'('
>>> f.readline()
'dp1\n'
>>> f.read(1)
''
>>> 

.read(1) 的序列 -- .readline() 是 .loads 内部所做的（在协议 0 泡菜上，Python 2 中的默认值，这是您在此处使用的）。不幸的是，zipfile 的缺陷意味着这个特定的序列不起作用，在第一个读取/读取行对之后产生虚假的“文件结尾”（.read 返回一个空字符串）。

不确定 Python 标准库中的这个错误是否已在 Python 2.7 中修复——我将检查一下。

编辑：刚刚检查过——该错误已在 Python 2.7 rc1（当前最新的 2.7 版本的候选发布版本）中修复。我还不知道它是否在 2.6 的最新错误修复版本中也得到了修复。

再次编辑：该错误仍然存​​在于 Python 2.6.5 中，这是 Python 2.6 的最新错误修复版本 - 所以如果您无法升级到 2.7 并且需要表现更好的伪文件来自ZipFile.open 的对象，2.7 修复的反向移植似乎是唯一可行的解​​决方案。

请注意，您不确定确实需要表现更好的伪文件对象；如果您控制转储调用并且可以使用最新最好的协议，那么一切都会好起来的：

>>> zf = zipfile.ZipFile('zipped_pickle.zip', 'w', zipfile.ZIP_DEFLATED)
>>> zf.writestr('data.pkl', cPickle.dumps(some_data, -1))
>>> sd2 = cPickle.load(zf.open('data.pkl'))
>>> 

在load 中混合读取和读取行调用时，只有旧的向后兼容的“协议 0”（默认）需要适当的伪文件对象行为（协议 0 也较慢，并导致更大的泡菜，所以它是绝对不推荐，除非向后兼容旧的 Python 版本，或者 0 产生的 pickle 的纯 ascii 特性是应用程序中的强制性约束）。