spark 任务提交执行流程

–spark 任务提交执行流程

1.首先Worker 向Master 建立连接,进行RPC通信,把资源汇报给Master进行注册
2.Master 接收到Worker 发来的信息后,会保存Worker 发来的信息,并返回Worker 注册成功,Worker收到注册成功后会定期向Master 发送心跳,让Master 知道Worker 还活着
3.SparkSubmit(Driver)会向Master提交任务,并申请资源
4.Master从Worker信息里面找看那个Worker符合申请资源信息,Master 会跟符合条件的Worker进行RPC通信,让Worker启动Executor(将分区的参数传递过去)
5.Executor会通过Master 再通过Worker,找出Driver的位置,让后建立连接,形成完成的任务
6.Driver形成具体的任务后,会产生Task,然后通过网络发送给Executor,然后

相关文章:

  • 2021-05-04
  • 2021-08-09
  • 2021-06-29
  • 2021-11-02
  • 2021-09-25
  • 2021-12-18
  • 2021-12-04
猜你喜欢
  • 2021-08-02
  • 2021-03-31
  • 2021-05-09
  • 2021-11-04
  • 2021-09-24
  • 2021-06-17
相关资源
相似解决方案