无法使用 PySpark 腌制 listreverseiterator 对象

Question

我对 python 很陌生。以下代码存在一些序列化问题：

from pyspark.mllib.stat import Statistics
import random
data = sc.parallelize([range(100),range(100),random.sample(range(100),100),reversed(range(100))])
print(Statistics.corr(data))

我明白了：

TypeError: can't pickle listreverseiterator objects

所以“反转”似乎创建了一个不可序列化的对象——知道如何处理这个问题吗？

非常感谢！

Answer 1

替换：

reversed(range(100))

与

list(reversed(range(100)))