Spark任务执行原理

首先，先看一幅图

以上图中有四个机器节点，Driver 和 Worker 是启动在服务器节点上的进程，这些进程都运行在 JVM 中。

上述图的运行步骤：

1. Driver 与集群节点之间有频繁的通信。
2. Driver 负责任务(tasks)的分发和结果的回收、任务的调度。如果 task的计算结果非常大就不要回收了，会造成 OOM(内存溢出)。
3. Worker 是 Standalone 资源调度框架里面资源管理的从节点，也是JVM 进程。
4. Master 是 Standalone 资源调度框架里面资源管理的主节点。也是JVM 进程。