spark Job执行流程

spark Job执行流程

1. 从hdfs／local／集合中读取数据，放到worker的内存中。
2. 然后，work节点中的exector的task，再针对hdfs对应的linesRDD，依此进行我们的flatmap／map／reduceByKey等操作。