Win10--Spark2.3 + hadoop3.1 本地环境搭建

• 准备工作
• 进行配置
• 测试

在使用docker 未果的情况下，无奈采用本地环境搭建。中间有部分坑( 此篇 为64位的环境， 如果是32位 则无需更换bin内容)

准备工作

1. Hadoop 所需要更换的bin目录下的文件
2. Hadoop3.1 进行下载
3. Spark2.3.1 下载包
4. JDK1.8

进行配置

• 将 下载好的Hadoop 和 Spark进行解压，我进行了重命名 如图1.1
  
  

  图1.1

• 将 准备工作中 第一项下载的包进行解压。并进行更换 解压的hadoop3.1.0下的/bin目录里的文件（如图1.2）
  
  

  图1.2

• 进行配置我们需要的环境变量（如图1.3）
  
  

  图1.3

配置内容如下:

测试

我们进行输入spark-shell 可以看到已经可以正常。并且没有报错内容