DAG图(RDD 依赖关系图,有向图,无环图)

shuffledRDD为宽依赖

 

在spark shell的页面上查看具体的job执行情况

通过wordCount实战详解Spark RDD创建 -- (视频笔记)

我们实际操作save

 》》》 val cache = sc.textFile("hdfs://hadoop-1:9000/data/test/test.dat").flatMap(_.split(" ")).map(word=>(word,1)).reduceByKey(_+_).cache

》》》cache.saveAsTextFile("/out/cache/wordcache.dat")

》》》cache.saveAsTextFile("/out/cache/wordcache1.dat")

第一次操作

通过wordCount实战详解Spark RDD创建 -- (视频笔记)

第二次操作

通过wordCount实战详解Spark RDD创建 -- (视频笔记)

通过两张图对比可以明显看到,第二次save是用缓存中执行的。

相关文章:

  • 2021-11-04
  • 2022-12-23
  • 2022-12-23
  • 2021-12-02
  • 2021-10-01
  • 2021-08-26
  • 2021-09-19
猜你喜欢
  • 2022-12-23
  • 2021-10-30
  • 2021-10-30
  • 2022-12-23
  • 2021-07-07
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案