环境:CentOS 6.6 x64 选用Spark版本 1.4.1、Zookeeper 3.4.6
1、Spark运行模式
Local:使用于windows和linux平台(多用于测试,细分可分为5种情况)
Standalone:spark集群模式,使用spark自己的调度方式
On Yarn:运行在Hadoop 2的Yarn资源管理框架之上,由Yarn负责资源管理,Spark负责任务调度和计算(又可分为2种情况)
On Mesos:Mesos是一个类似Yarn的资源调度框架,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、Spark等框架。同上
On Cloud:Spark支持HDFS、S3等多种分布式存储系统,可以进行云存储,例如AWS 的 EC2,使用这个模式能很方便的访问 Amazon的 S3
2、Standalone模式集群安装
2.1、前置环境准备
安装好JDK,推荐版本: 1.7.x;
设置SSH免密码登录、hosts、hostname、静态ip、iptables等
2.2、下载、解压安装包到指定目录下(注意版本问题):
# wget http://219.238.7.75/files/5165000007D0B131/www.eu.apache.org/dist/spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.6.tgz # tar -zxvf softs/spark-1.4.1-bin-hadoop2.6.tgz -C /usr/local/ # cd /usr/local/ # mv spark-1.4.1-bin-hadoop2.6/ spark-1.4.1