Spark物理图的执行

1、先表结论，如下图所示：

2、文字说明：

• 在每个stage阶段，是由一系列transformation（或者说task）组成的，每个task对应了一次partitionàpartition的transformation操作；而不同stage之间则是shuffle，当然也是partitionàpartition。
• 在job中，每个stage阶段的partition变换是窄依赖，且partition个数是可以变化的，可以存在有1:1，N:1,N:N等几种转换关系；stage之间则是宽依赖，partition个数一般也是变化的。