为什么 Spark 将所有任务发送给两个执行器？

Question

这里是情况的图片：

我的代码：

rdd = spark.read.format("avro").load(paths).rdd.repartition(160).flatMap(parse_source_data).repartition(20)

parse_source_data 是一个昂贵的 Python 函数，它映射到所有数据。正如预期的那样，我看到了 160 个总任务。 Spark 声称正如预期的那样，有 80 个同时运行。但实际上，所有任务似乎都由两个执行者运行。

有人有什么想法吗？

Answer 1

我正在为工人创建一个 SparkContext。这阻止了工人被用于实际工作。