Spark RDD：在 range() 对象上使用 collect()

Question

我想将数字 0 到 99 转换为 RDD。

rd1 = range(1, 100)
test = sc.parallelize(rd1)

当我使用 collect() 函数时...

print(test.collect())

...我收到以下错误消息：

PicklingError: Could not pickle object as excessively deep recursion required.

根据this 的纪录片，它应该可以工作。你能告诉我我做错了什么吗？

非常感谢。

Answer 1

如果其他人有同样的问题。我可以通过只选择我想要执行的行来解决它。

我认为其他并行运行的脚本导致了错误。