Spark On YARN启动流程源码分析（一）

本文主要参考：

a. https://www.cnblogs.com/yy3b2007com/p/10934090.html

a. 关于spark源码会不定期的更新与补充

b. 对于spark源码的历史博文，也会不定期修改、增加、优化

c. spark源码对应的spark版本为2.4.1

1. 引导

该篇主要讲解执行spark-submit.sh脚本时将任务提交给Yarn阶段代码分析。其中spark的代码版本为2.4.1.

(1) spark-submit的入口函数

一般提交一个spark作业的方式采用spark-submit来提交

# Run on a Spark standalone cluster
./bin/spark-submit \
  --class org.apache.spark.examples.SparkPi \
  --master spark://207.184.161.138:7077 \
  --executor-memory 20G \
  --total-executor-cores 100 \
  /path/to/examples.jar \
  1000

View Code