spark-env.sh文件中添加信息:
SPARK_MASTER_HOST=hadoop53
SPARK+MASTER_PORT=7077(默认端口号)这个是服务端口号,类似9000

slaves文件中添加搭建的几台机器信息:
hadoop53
hadoop54
hadoop55

分发spark包:xsync spark/

启动:sbin/start-all.sh(群起脚本需要前提是配置slaves)

bin/spark-shell --master spark://hadoop53:7077
启动之后会有web界面显示

sc.textFile("./word.txt").collect

配置历史服务器JobHistoryServer
standalone模式
配置好需要启动hadoop,hdfs

HA配置
配置master,多个一起。
修改spark-env.sh文件
这个要启动zookeeper

相关文章: