Spark提交作业运行原理及其参数设置

运行原理：

样例：

/opt/spark/bin/spark-submit \
--conf spark.num.executors=4 \
--conf spark.executor.memory=16g \
--conf spark.executor.cores=4 \
--conf spark.debug.maxToStringFields=1024  \
--conf spark.driver.memory=4g \
--conf spark.driver.cores=16 \