来自 pyspark 的数据集的多处理返回 JVM 错误

Question

我需要在 Jupyter notebook 中并行运行一些聚类算法。我想要并行的集群功能在进行多线程或单独运行时工作。但是，它返回

raise Py4JError("{0} 在 JVM 中不存在".format(name))

当我尝试多处理时。我对多处理没有太多经验，我做错了什么？

聚类代码：

def clustering(ID, df):
    pandas_df = df.select("row", "features", "type") \
    .where(df.type == ID).toPandas()

    print("process " + str(ID) + ": preparing data for clustering")
    feature_series = pandas_df["features"].apply(lambda x: x.toArray())
    objs = [pandas_df, pd.DataFrame(feature_series.tolist())]
    t_df = pd.concat(objs, axis=1)

    print("process " + str(ID) + ": initiating clustering")
    c= #clustering algo here
    print("process " + str(ID) + " DONE!")

    return

多处理代码：

import multiprocessing as mp

k = 4

if __name__ == '__main__':
    pl = []
    for i in range(0,k):
        print("sending process:", i)
        process = mp.Process(target=clustering, args=(i, df))
        jobs.append(process)
        process.start()

    for process in pl:
        print("waiting for join from process")
        process.join()

Answer 1

错误是由于子进程无法访问相同的内存（pyspark 数据帧所在的内存）。

通过将 pyspark 数据帧的访问权限放在另一个函数中，首先对数据集进行分区解决，如下所示：

    pandas_df = df.select("row", "features", "type") \
    .where(df.type == ID).toPandas()

然后在分离的 Pandas 数据帧上运行集群。