spark学习笔记

spark学习笔记

1. hadoop四大组件

• HDFS ：分布式存储系统
• MapReduce ：分布式计算系统
• YARN ：资源调度系统
• Common ：底层支持组件

2. spark RDD

• Resilient Distributed Dataset ：弹性分布式数据集
• RDD属性 ：
  （1）partition ：分片，数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。
  （2）compute ：计算每个分区的函数。
  （3）RDD的依赖关系 ：RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。
  （4）partitioner ：分片函数，key-value的RDD存在，否则为none
  （5）一个列表 ：存储每个分片（或分片所在的块）的优先位置。
• 宽依赖与窄依赖
  （1）宽依赖 ：是指一个父RDD的Partition会被多个子RDD的Partition所使用，例如groupByKey、reduceByKey、sortByKey等操作都会产生宽依赖
  （2）窄依赖 ：是指每个父RDD的一个Partition最多被子RDD的一个Partition所使用，例如map、filter、union等操作都会产生窄依赖；
  
  注意：
  （1）图中左半部分join：如果两个RDD在进行join操作时，一个RDD的partition仅仅和另一个RDD中已知个数的Partition进行join，那么这种类型的join操作就是窄依赖，例如图1中左半部分的join操作(join with inputs co-partitioned)；
  （2）图中右半部分join：其它情况的join操作就是宽依赖,例如图1中右半部分的join操作(join with inputs not co-partitioned)，由于是需要父RDD的所有partition进行join的转换，这就涉及到了shuffle，因此这种类型的join操作也是宽依赖。
• stage划分
  
  每遇到一个宽依赖就划分一个stage
• ShuffleTask与ResultTask
  （1）ResultTask ：DAG的最后一个阶段会为每个结果的partition生成一个ResultTask，即每个Stage里面的Task的数量是由该Stage中最后一个RDD的Partition的数量所决定的！
  （2）ShuffleTask ：其余所有阶段都会生成ShuffleMapTask；之所以称之为ShuffleMapTask是因为它需要将自己的计算结果通过shuffle到下一个stage中