一.安装JDK(略)

二.安装Scala(l略)

三.安装Spark

  1.上传安装包到集群节点

  2.解压安装包

  3.修改配置文件

Linux下Spark的安装和配置

a.spark-env.shLinux下Spark的安装和配置

vi spark-env.sh

Linux下Spark的安装和配置

b.slaves

Linux下Spark的安装和配置

vi slaves

Linux下Spark的安装和配置

c.修改master ui端口(ambari占用8080端口所以修改,如果8080端口没有被占用不需要修改)

vi start-master.sh 

Linux下Spark的安装和配置

Linux下Spark的安装和配置

修改成自定义的一个端口号

4.将修改后的conf目录复制到其他节点上

5.启动集群

Linux下Spark的安装和配置

也可以启动另外一个master

6.启动测试

Linux下Spark的安装和配置

7.test

/usr/local/apps/spark-2.2.0-bin-hadoop2.7/bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node00:7077,node06:7077 --executor-memory 1G --total-executor-cores 2  /usr/local/apps/spark-2.2.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.2.0.jar 
 

Linux下Spark的安装和配置

Linux下Spark的安装和配置

Linux下Spark的安装和配置

 

相关文章:

  • 2021-09-02
  • 2021-10-15
  • 2021-09-19
  • 2021-08-19
  • 2021-08-14
  • 2022-12-23
猜你喜欢
  • 2021-08-14
  • 2021-09-26
  • 2021-12-28
  • 2022-12-23
  • 2021-11-29
  • 2021-04-05
  • 2021-11-20
相关资源
相似解决方案