在 Apache Spark 中，同一 Stage 中的 Tasks 是否同时工作？答案

【问题标题】：In Apache Spark , do Tasks in the same Stage work simultaneously or not?在 Apache Spark 中，同一 Stage 中的 Tasks 是否同时工作？
【发布时间】：2019-07-09 17:15:55
【问题描述】：

同一阶段的任务是否同时工作？如果是这样，一个阶段中分区之间的线指的是什么？ example of a DAG

【问题讨论】：

标签： apache-spark stage

【解决方案1】：

这是一个很好的阅读链接。详细解释了 DAG 以及其他一些可能感兴趣的事情。 databricks blog on DAG

我可以试着解释一下。在创建每个阶段时，它都有一组被划分的任务。当遇到动作时。驱动程序将任务发送给执行程序。根据您的数据的分区方式，对分布式集群中的数据调用 N 个任务。所以你看到的箭头是执行计划。因为它不能在读取文件之前执行映射功能。每个拥有一些数据的节点都会按照 DAG 提供的顺序执行这些任务。

【讨论】：

每个阶段都转换为一个整体的任务。根据有多少数据分区，一个阶段将多次执行。但就阶段内的任务而言是连续的