jason-dong

1.安装jdk

2.安装scala

参照jdk的安装

3.ssh 免密码登录

4.安装hadoop

以上四步请参照   centos7 安装hadoop2.7.6(分布式)

5.安装spark 

1)官网下载对应版本

https://archive.apache.org/dist/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

2)解压spark-2.3.1-bin-hadoop2.7.tgz 至master 的 /usr/local

3)配置文件配置

spark-env.sh

export JAVA_HOME=/usr/local/jdk
export SCALA_HOME=/usr/local/scala-2.11.8
export HADOOP_HOME=/usr/local/hadoop
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_WORKER_MEMORY=500m
export SPARK_WORKER_CORES=1
export SPARK_MASTER_HOST=ns1
export SPARK_MASTER_PORT=7077

经测试,不必配置slaves 文件,spark启动时使用了hadoop 的slaves文件

6.启动

在master上执行

sh /user/local/hadoop/sbin/start-all.sh
sh /user/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
sh /usr/local/spark-2.3.1-bin-hadoop2.7/sbin/start-all.sh

 

相关文章: