TypeError：无法腌制生成器对象

Question

我正在尝试将一些结果写入泡菜文件，如下所示：

raw_X = (self.token_ques(text) for text in training_data)
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
    pickle.dump(raw_X, handle)

错误：

    raise TypeError, "can't pickle %s objects" % base.__name__
TypeError: can't pickle generator objects

任何帮助都会非常感激。

Answer 1

当您想要腌制数据时，不要使用生成器表达式。请改用列表推导式，或在生成器上调用 list() 以捕获所有生成的元素以进行酸洗。

例如，以下工作就可以了：

raw_X = [self.token_ques(text) for text in training_data]
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
    pickle.dump(raw_X, handle)

就像这样：

raw_X = (self.token_ques(text) for text in training_data)
with open('/root/Desktop/classifier_result.pkl', 'wb') as handle:
    pickle.dump(list(raw_X), handle)

Answer 2

raw_X = (self.token_ques(text) for text in training_data)

这是一个发电机。正如错误所说，我们不能腌制生成器。改用这个。

raw_X=[]
for text in data:
  raw_X.append(self.token_ques(text))
raw_X=tuple(raw_X)

然后腌制raw_X。

---

编辑

这对我有用

import pickle

raw_X=[]
data=[1,2,3,4,5,6,2,0]
for text in data:
    raw_X.append(str(text))

print pickle.dumps(raw_X)

我使用str() 代替您的函数，使用dumps() 代替dump()。