Spark的DAG图

DAG(Directed Acyclic Graph)叫做有向无环图，原始的RDD通过一系列的转换就就形成了DAG，根据RDD之间的依赖关系的不同将DAG划分成不同的Stage，对于窄依赖，partition的转换处理在Stage中完成计算。对于宽依赖，由于有Shuffle的存在，只能在parent RDD处理完成后，才能开始接下来的计算，因此宽依赖是划分Stage的依据。

        

从WordCount角度解释DAG

    sc.textFile(“xx").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile(“xx")

        

RDD任务切分

        

RDD任务运行规划图

        

WordCount的DAG图

        

推荐：

Spark的RDD介绍

Spark的RDD的依赖关系

Spark的DAG图