1.Spark 资源调优
内存管理：
Executor的内存主要分为三块：
- 第一块是让task执行我们自己编写的代码时使用，默认是占Executor总内存的20%；
- 第二块是让task通过shuffle过程拉取了上一个stage的task的输出后，进行聚合等操作时使用，默认也是占Executor总内存的20%；
- 第三块是让RDD持久化时使用，默认占Executor总内存的60%。
每个task以及每个executor占用的内存需要分析一下。每个task处理一个partiiton的数据，分片太少，会造成内存不够。
其他资源配置：
具体调优可以参考美团点评出品的调优文章：
http://tech.meituan.com/spark-tuning-basic.html
http://tech.meituan.com/spark-tuning-pro.html