Win10下安装spark(本地模式)

相关软件及环境准备:
win10
需要提前安装anaconda
java 环境:JDK1.8 版本
hadoop运行在windows环境的插件: hadoop-2.7.1(winutils-master)
spark包:spark-2.4.4-bin-hadoop2.7

spark-2.4.4-bin-hadoop2.7 和winutils-master 下载
链接:https://pan.baidu.com/s/1BFy8xm5bcf-14AWu1nExDg&shfl=sharepset
提取码:mvkv

使用 Spark 的第一步是下载和解压缩。我们先从下载预编译版本的 Spark 开始。访问 http:// spark.apache.org/downloads.html, 选 择 包 类 型 为“Pre-built for Hadoop 2.4 and later”( 为 Hadoop 2.4 及更新版本预编译的版本),然后选择“Direct Download”直接下载

安装spark

把包解压到这个目录下
C:\file\spark_package\spark-2.4.4-bin-hadoop2.7
Win10下安装spark(本地模式)

环境变量

添加系统环境变量:

SPARK_HOME D:\spark-2.2.0-bin-hadoop2.7
(不要有中文或者空格)
在系统环境变量Path增加:%SPARK_HOME%\bin
Win10下安装spark(本地模式)
Win10下安装spark(本地模式)

安装配置hadoop

访问官方http://hadoop.apache.org/releases.html
或者百度云盘
解压到路径 C:\file\hadoop-2.7.1
2、配置

增加系统环境变量:

HADOOP_HOME C:\file\hadoop-2.7.1

在系统环境变量Path增加:%HADOOP_HOME%\bin

Win10下安装spark(本地模式)
Win10下安装spark(本地模式)
进入你的 Spark 目录然后输入:
bin/pyspark
即可

可参靠此篇文章:
https://www.cnblogs.com/momogua/p/9285930.html

相关文章:

  • 2021-05-09
  • 2022-12-23
  • 2021-11-25
  • 2021-08-13
  • 2021-11-03
  • 2021-12-24
  • 2022-02-04
  • 2022-12-23
猜你喜欢
  • 2022-01-20
  • 2021-08-12
  • 2021-10-11
  • 2021-10-19
  • 2021-11-07
  • 2021-10-14
  • 2021-09-15
相关资源
相似解决方案