从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本
本篇来看下 spark submit 脚本实现。

if [ -z "${SPARK_HOME}" ]; then
  source "$(dirname "$0")"/find-spark-home
fi

# disable randomized hash for string in Python 3.3+
#主要是为了禁止hash随机化

export PYTHONHASHSEED=0

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "[email protected]"

东西不多 在spark -submit脚本中调用spark-class 脚本。

欢迎关注,更多惊喜等着你

spark2.0源码解析(二) : spark submit 脚本解析

相关文章: