在安装spark 时,spark支持三种运行模式standalone,yarn,mesos。其中spark on yarn运行模式又分为cluster模式和client模式。下面就介绍安装spark on yarn一些配置信息。

        1.配置yarn-site.xml

            关闭虚拟机内存检查,避免虚拟机内存不足时,无法使用。 

        spark on yarn 安装问题

        2.配置hdfs-site.xml

            关闭hdfs权限认证问题

            spark on yarn 安装问题

3.配置spark-env.sh 需要配置hadoop的conf地址

spark on yarn 安装问题


先启动hadoop的hdfs和yarn,提交代码测试,client模式

spark on yarn 安装问题

登录yarn web界面查看job信息

spark on yarn 安装问题

spark on yarn 安装问题

相关文章:

  • 2021-09-09
  • 2021-07-15
  • 2021-07-30
  • 2021-07-01
  • 2021-04-02
  • 2021-07-17
猜你喜欢
  • 2021-07-29
  • 2021-07-20
  • 2022-12-23
  • 2021-07-09
  • 2022-12-23
  • 2021-10-20
  • 2022-01-31
相关资源
相似解决方案