本文搭建在Hadoop2.6.4单节点环境搭建的基础上进行

http://blog.csdn.net/u014662563/article/details/76888308

一、软件准备

1. scala-2.11.8.tar.gz

2. spark-1.6.1-bin-hadoop2.6.tar.gz

二、Scala安装配置

1. 下载解压scala-2.11.8.tar.gz

tar -zxvf scala-2.11.8.tar.gz -C /opt/Scala

2. 配置环境变量,编辑/etc/profile文件,在文件末尾添加以下内容:

Spark1.6.1单节点环境搭建

3. 保存后运行source /etc/profile,使环境变量生效。

4. 输入scala -version可以看到JDK成功安装的版本信息。

Spark1.6.1单节点环境搭建

四、Spark安装配置

1. 下载解压spark-1.6.1-bin-hadoop2.6.tar.gz

tar -zxvf spark-1.6.1-bin-hadoop2.6.tar.gz -C /opt/Spark

2. 修改/etc/profile文件,在文件末尾添加以下内容:

Spark1.6.1单节点环境搭建

3. 保存后运行source /etc/profile,使环境变量生效。

4. 进入Spark安装目录下的conf目录,拷贝spark-env.sh.template到spark-env.sh

cp spark-env.sh.template spark-env.sh

5. 编辑spark-env.sh,在末尾添加配置信息:

Spark1.6.1单节点环境搭建

6. 将slaves.template拷贝到slaves,编辑其内容:

Spark1.6.1单节点环境搭建

五、启动Spark

1. 进入Spark安装目录的sbin,启动spark。

Spark1.6.1单节点环境搭建

2. 使用jps命令查看进程信息。

Spark1.6.1单节点环境搭建

3. 浏览器访问查看Spark信息

Spark1.6.1单节点环境搭建

4.使用spark-shell,在sbin目录下输入spark-shell

Spark1.6.1单节点环境搭建

5.Spark配置成功。

相关文章:

  • 2021-08-23
  • 2021-05-14
  • 2023-02-20
  • 2021-04-02
  • 2021-12-25
  • 2021-08-19
  • 2022-12-23
  • 2022-02-27
猜你喜欢
  • 2021-07-01
  • 2021-03-31
  • 2021-04-29
  • 2022-01-11
  • 2022-12-23
  • 2022-01-07
  • 2021-06-26
相关资源
相似解决方案