一、学习资源

https://www.bilibili.com/video/BV1yD4y1U73C?p=8

二、步骤

1、下载安装包

根据自己hadoop的版本下载相应的安装包

https://spark.apache.org/downloads.html

2、放到虚拟机中,进行解压和安装

解压压缩包:tar xvzf  spark-2.2.0-bin-hadoop2.7.tgz

移动解压包到指定文件:mv spark-2.2.0-bin-hadoop2.7 /export/servers/spark

3、修改配置文件spark-env.sh

先将spark-env.sh.template复制一份命名为spark-env.sh:cp spark-env.sh.template spark-env.sh

打开配置文件:vim spark-env.sh

Spark安装及环境配置

 在配置文件中增加一下内容:

Spark安装及环境配置

 注:打开配置文件中,点击“a"进行编辑,然后单击”Esc"退出编辑,最后:wq保存退出

4、修改配置文件slaves

Spark安装及环境配置

 Spark安装及环境配置

 5、配置HistoryServer

Spark安装及环境配置

 在spark-defaults.conf末尾增加一下内容

Spark安装及环境配置

 在spark-env.sh末尾增加以下内容

Spark安装及环境配置

 6、为Spark创建HDFS中的日志目录(执行此命令,一定要开启hadoop:start-all.sh)

Spark安装及环境配置

7、分发和运行

分别给node02和node03进行分发:

Spark安装及环境配置

 

 启动

cd /export/servers/spark

sbin/start-all.sh

sbin/start-history-server.sh

Spark安装及环境配置

 8.检测完成配置

Spark安装及环境配置

 

相关文章:

  • 2021-04-04
  • 2021-12-12
  • 2021-11-07
  • 2021-06-24
  • 2021-10-04
  • 2021-06-01
猜你喜欢
  • 2021-11-23
  • 2021-12-26
  • 2021-06-03
  • 2021-12-16
  • 2021-11-29
  • 2021-08-30
相关资源
相似解决方案