1:下载spark安装包,需要查看是否兼容自己的hadoop版本
2:配置spark
进入到Spark安装目录
cd /usr/local/spark-1.6.1-bin-hadoop2.6
进入conf目录并重命名并修改spark-env.sh.template文件
cd conf/
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
在该配置文件中添加如下配置
export JAVA_HOME=/usr/local/jdk8
export SPARK_MASTER_IP=hadoop01
export SPARK_MASTER_PORT=7077
保存退出
重命名并修改slaves.template文件
mv slaves.template slaves
vi slaves
在该文件中添加子节点所在的位置(Worker节点)
hadoop02
hadoop03
保存退出
将配置好的Spark拷贝到其他节点上
scp -r spark-1.6.1-bin-hadoop2.6/ hadoop02:/usr/local/
scp -r spark-1.6.1-bin-hadoop2.6/ hadoop03:/usr/local/
Spark集群配置完毕,目前是1个Master,2个Work,在hadoop01上启动Spark集群
集群启动
bin/spark-shell --master spark://hadoop01:7077 --executor-memory 512 --total-executor-cores 2
单机版启动后执行jps命令,主节点上有Master进程,其他子节点上有Work进程,登录Spark管理界面查看集群状态(主节点):http://hadoop01:8080