AWS：异常：您似乎正在尝试从广播变量中引用 SparkContext。 SparkContext 只能在驱动上使用

Question

尝试在 AWS Amazon 集群上运行我的程序时。

[hadoop@ip-172-31-5-232 ~]$ spark-submit 6.py .

我收到以下错误：

Exception: It appears that you are attempting to reference SparkContext from a broadcast variable, action, or transformation. SparkContext can only be used on the driver, not in code that it run on workers. For more information, see SPARK-5063.

这是我出现错误的代码示例：

result= l.map(lambda x : (x[0], list(x[1]))).collect()
if (NbrVertex > (2*(len(filteredResults.collect())+ ExtSimilarity))):

Successor=filteredResults3.map(lambda j:matchedSuccessor(j,result))

  print(Successor.collect())

你可以看下图]1

Answer 1

collect 导致数据进入驱动程序。

Successor ... 因此通过 .map 从 Worker 引用 Driver。不允许。

消息证实了 Spark 范式。