1:下载spark安装包,需要查看是否兼容自己的hadoop版本

01:Spark安装与测试

2:配置spark

进入到Spark安装目录

cd /usr/local/spark-1.6.1-bin-hadoop2.6

进入conf目录并重命名并修改spark-env.sh.template文件

cd conf/

mv spark-env.sh.template spark-env.sh

vi spark-env.sh

在该配置文件中添加如下配置

export JAVA_HOME=/usr/local/jdk8

export SPARK_MASTER_IP=hadoop01

export SPARK_MASTER_PORT=7077

保存退出

重命名并修改slaves.template文件

mv slaves.template slaves

vi slaves

在该文件中添加子节点所在的位置(Worker节点)

hadoop02

hadoop03

保存退出

将配置好的Spark拷贝到其他节点上

scp -r spark-1.6.1-bin-hadoop2.6/ hadoop02:/usr/local/

scp -r spark-1.6.1-bin-hadoop2.6/ hadoop03:/usr/local/

 

Spark集群配置完毕,目前是1个Master,2个Work,在hadoop01上启动Spark集群

集群启动

bin/spark-shell  --master spark://hadoop01:7077 --executor-memory 512 --total-executor-cores 2

 

单机版启动后执行jps命令,主节点上有Master进程,其他子节点上有Work进程,登录Spark管理界面查看集群状态(主节点):http://hadoop01:8080


01:Spark安装与测试

相关文章: