Apache Spark 中的“循环数据流”是什么意思？

Question

Spark 是一个 DAG 执行引擎。循环和 DAG 不是相反的概念吗？很难找到这个明显矛盾的答案。

正如您在此处看到的：Understanding your Apache Spark Application Through Visualization，可以使用 Spark UI 可视化执行 DAG。但是，该页面中的示例均未显示循环数据流。在下图中，您可以看到其中一个示例。

Spark execution DAG example

这些迭代（循环数据流）可以在图表之外吗？我在 MAPR 中读到“每个 Spark 作业都会创建要在集群上执行的任务阶段的 DAG”。然后，可能会在 DAG（作业）之间发生循环数据流。

谢谢。

Answer 1

好的，看来这是文档中的拼写错误或其他内容。截至今天，我们可以在Spark homepage：

Apache Spark 拥有先进的 DAG 执行引擎，支持非循环数据流和内存计算。