一、spark的三种提交模式

1、第一种,Spark内核架构,即standalone模式,基于Spark自己的Master-Worker集群。

2、第二种,基于YARN的yarn-cluster模式。

3、第三种,基于YARN的yarn-client模式。

如果,你要切换到第二种和第三种模式,在提交spark应用程序的spark-submit脚本加上--master参数,设置为yarn-cluster,或yarn-client,即可。如果没设置,那么,就是standalone模式。

一、基于YARN的yarn-client模式

 spark基于yarn的两种提交模式

二、基于YARN的yarn-cluster模式

spark基于yarn的两种提交模式

 三、yarn-cluster和yarn-client区别

1, yarn-client用于测试,因为,driver运行在本地客户端,负责调度application ,会与yarn集群产生超大量的网络通信,从而导致网卡流星激增,可能会被SA (运维)给警告。优点是,直接执行时,本地可以看到所有的log,方便调试.

2, yarn-cluster ,用于生产环境,因为driver运行在nodemanager ,没有网卡流星激增的问题。缺点在于,调试不方便,本地用spark-submit堤交后,看不到log,只能通过yarn applicaition-logs application_id这种命令来查看,麻烦

如果spark不依托于yarn,或者就是搭建一个spark集群,底层基于hdfs、hive大数据操作,或者hadoop版本低,没有yarn,就用standalone模式即可,

建议,做成分布式,提交应用的机器做成分布式(多几台),在实际提交的时候能够负载均衡,在不同的机器上面去提交,避免单台机器网卡流量激增问题,

 

相关文章:

  • 2022-12-23
  • 2021-11-27
  • 2021-10-12
  • 2021-08-18
  • 2021-05-07
  • 2021-11-17
  • 2021-10-09
猜你喜欢
  • 2021-05-06
  • 2021-12-18
  • 2021-10-12
  • 2021-05-18
  • 2021-09-07
  • 2021-09-08
相关资源
相似解决方案