参考这篇博客: https://blog.csdn.net/weixin_38556445/article/details/78182264

默认已经电脑已经安装java 和 python。

1  需要安装spark 和 hadoop (python3.6 需要spark2.1以上版本)

两者作相同处理:解压之后,还需要完成SPARK_HOME和bin环境变量相关配置;HADOOP_HOME  和bin 环境变量的配置。

2   下载hadoop 版本对应的winutils.exe

将winutils.exe文件放到Hadoop的bin目录下(我的是E:\spark\spark-2.1.0-bin-hadoop2.7\bin),然后以管理员的身份打开cmd,然后通过cd命令进入到Hadoop的bin目录下,然后执行以下命令:

winutils.exe chmod 777 c:\tmp\Hive

3  在pycharm做如下设置:否则会报错:Could not find valid SPARK_HOME

win10 安装单机版 pyspark

win10 安装单机版 pyspark

相关文章:

  • 2021-07-24
  • 2021-09-17
  • 2022-12-23
  • 2021-12-13
  • 2022-01-13
  • 2021-12-23
  • 2021-12-30
  • 2021-12-21
猜你喜欢
  • 2021-10-29
  • 2022-12-23
  • 2022-03-09
  • 2021-12-22
  • 2022-12-23
  • 2021-09-04
相关资源
相似解决方案