transformation算子

1、map()

2、flatmap()

3、mapPartitions()

4、union()

5、groupByKey()

6、filter()

7、distinc()去重

8、subtract()集合的差操作

9、cache()从磁盘缓存到内存

10、persist()缓存操作

11、combineByKey()类似于MR中的combiner

12、reduceByKey()

13、partitionBy()分区操作

action算子

1、foreach(x=>println())

2、saveAsTextFile()

3、collect()

spark算子

4、count()

5、top()

6、reduce()

spark算子

相关文章:

  • 2021-11-28
  • 2021-10-05
  • 2021-11-25
  • 2021-11-30
  • 2021-07-10
  • 2022-03-03
  • 2021-05-16
  • 2022-12-23
猜你喜欢
  • 2021-06-11
  • 2021-06-16
  • 2021-06-10
  • 2021-12-26
相关资源
相似解决方案