Spark-编程模型

一. Spark 编程模型
1.Spark 应用程序有两部分组成:Driver/Executor

2.Spark 应用程序基本概念


3.Spark 应用程序编程模型
– Driver Program ( SparkContext )
– Executor ( RDD 操作)
输入 Base-> RDD
Transformation RDD->RDD
Action RDD->driver or Base
缓存 Persist or cache()
– 共享变量
broadcast variables
accumulators

二.RDD
三.Spark-shell 程序调试
四.IDEA程序调试