Driver创建sparkContext对象,初始化程序,分发计算给Executor。

所有RDD算子的计算功能全部由Executor来执行。

如果计算部分有对象,该对象需要序列化,才能在网络中传输。

变量在driver中声明,算子中的计算逻辑需要分发给executor来执行。

Spark Driver与Executor

 

 

 

 

 

 

 

相关文章:

  • 2021-07-22
  • 2021-09-20
  • 2022-12-23
  • 2022-12-23
  • 2021-04-23
  • 2022-12-23
  • 2021-11-24
  • 2022-12-23
猜你喜欢
  • 2021-10-07
  • 2022-12-23
  • 2021-07-21
  • 2021-06-23
  • 2021-10-16
  • 2021-07-31
  • 2022-01-20
相关资源
相似解决方案