上篇文章我们剖析了Master的原理和源码,知道了当Master使用资源分配算法将资源分配完成后,就会给对应的Worker发送启动Driver或者Executor的消息,那么Worker收到这些消息后,具体是怎么启动Driver或者Executor的呢?这篇文章就让我们深入剖析一下Worker的原理和源码。

一、启动Driver

  1. Worker接收到了Master发送过来的启动Driver的信息,LaunchDriver函数首先启动一个DriverRunner线程。

worker.actor ! LaunchDriver(driver.id, driver.desc)

Spark源码剖析(六):Worker原理与源码剖析 
  
val driver = new DriverRunner(……)

Spark源码剖析(六):Worker原理与源码剖析

相关文章: