在 Spark 中，如何将 groupBy 与 spark-submit 一起使用？

Question

我有一个包含 groupBy 的 spark python 脚本。特别是结构是

import operator
result = sc.textFile(...).map(...).groupBy(...).map(...).reduce(operator.add)

当我在 ipython pyspark shell 中运行它时，它工作得很好。但是，当我尝试编写脚本并通过 spark-submit 运行它时，我收到一个 pickle.PicklingError: Can't pickle builtin <type 'method_descriptor'> 错误，指出 groupBy 是问题所在。是否有已知的解决方法？

Answer 1

事实证明，pickle 不能做很多事情，包括 lambda。我正在这样做，需要更加小心。