环境:CentOS 6.6 x64  选用Spark版本 1.4.1、Zookeeper 3.4.6

1、Spark运行模式

    Local:使用于windows和linux平台(多用于测试,细分可分为5种情况)

      Standalone:spark集群模式,使用spark自己的调度方式

      On Yarn:运行在Hadoop 2的Yarn资源管理框架之上,由Yarn负责资源管理,Spark负责任务调度和计算(又可分为2种情况)

      On Mesos:Mesos是一个类似Yarn的资源调度框架,提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、Spark等框架。同上

  On Cloud:Spark支持HDFS、S3等多种分布式存储系统,可以进行云存储,例如AWS 的 EC2,使用这个模式能很方便的访问 Amazon的 S3

2、Standalone模式集群安装

2.1、前置环境准备

  安装好JDK,推荐版本: 1.7.x;

  设置SSH免密码登录、hosts、hostname、静态ip、iptables等

2.2、下载、解压安装包到指定目录下(注意版本问题):

# wget http://219.238.7.75/files/5165000007D0B131/www.eu.apache.org/dist/spark/spark-1.4.1/spark-1.4.1-bin-hadoop2.6.tgz
# tar -zxvf softs/spark-1.4.1-bin-hadoop2.6.tgz -C /usr/local/
# cd /usr/local/
# mv spark-1.4.1-bin-hadoop2.6/ spark-1.4.1
View Code

相关文章: