我理解的spark集群的计算模型


备注:

1.task节点是线程,由executor进程对一个或多个task线程做创建、内存分配、任务分配、销毁等操作,具体的操作逻辑先忽略,而executor进程运行在服务器上,对executor

进程的管理也忽略了。

2.对用户而言,分组操作就是rdd转成了rdd1,中间的task处理对用户而言是透明的,

3.其它待补充。


相关文章:

  • 2021-12-10
  • 2021-10-19
  • 2021-09-23
  • 2021-09-28
  • 2021-06-07
  • 2021-12-23
  • 2022-01-04
  • 2021-07-19
猜你喜欢
  • 2021-07-20
  • 2021-09-15
  • 2021-07-03
  • 2021-10-02
  • 2021-06-19
  • 2021-11-21
  • 2022-12-23
相关资源
相似解决方案