pyspark 映射数据帧中的每一行并应用返回数据帧的 UDF [重复]

Question

我有一个dataframe 有几行。我可以使用此代码循环通过此dataframe：

for row in df.rdd.collect():

但这不会并行工作吧？所以我想要的是映射每一行并将其传递给 UDF 并根据行中的值返回另一个新数据帧（来自数据库）。

我试过了 df.rdd.map(lambda row:read_from_mongo(row,spark)).toDF()

但是我收到了这个错误：

_pickle.PicklingError：无法序列化对象：异常：您似乎正在尝试从 广播变量、动作或转换。 SparkContext 只能 用于驱动程序，而不是在工作人员上运行的代码中。更多 信息，请参阅 SPARK-5063。

如何并行循环 dataframe 并保持 dataframe 为每一行返回？

Answer 1

创建的每个 Spark RDD 或 DataFrame 都与应用程序的 SparkContext 相关联，并且 SparkContext 只能在驱动程序代码中引用。您返回 DataFrame 的 UDF 尝试从工作人员而不是驱动程序引用 SparkContext。那么，为什么需要为每一行创建一个单独的 DataFrame？如果 - 您希望稍后将生成的 DataFrame 合并为一个。 - 第一个 DataFrame 足够小。 然后，您可以简单地收集 DataFrame 的内容并将其用作过滤器以从 Mongodb 返回行。在这里，为了并行性，您需要依赖您使用的连接器来连接到 Mongodb。