SparkContext 初始化的过程主要的核心:
1) 依据 SparkContext 的构造方法中的参数 SparkConf 创建一个
SparkEnv
2) 初始化,Spark UI,以便 Spark Application 在运行是,方便用户
监控,默认端口为 4040
实时在线 授课 , 专业 课程 辅导 http://www.cloudyhadoop.com
3) 创建和启动 Scheduler
a) 创建 TaskScheduler、SchedulerBackend
b) 创建 DAGScheduler
c) 启动 TaskScheduler、DAGScheduler
4) 启动 Executors

相关文章:

  • 2022-01-05
  • 2021-07-03
  • 2021-09-25
  • 2021-08-01
  • 2021-09-16
  • 2021-08-15
  • 2021-12-25
猜你喜欢
  • 2021-10-26
  • 2021-12-01
  • 2022-12-23
  • 2022-12-23
  • 2021-12-05
  • 2021-04-25
  • 2021-09-22
相关资源
相似解决方案