Pyspark 命令给出错误作为目录未找到错误答案

【问题标题】：Pyspark command giving error as directory not found errorPyspark 命令给出错误作为目录未找到错误
【发布时间】：2020-05-18 03:52:10
【问题描述】：

我已经在 Anaconda 上安装了 ApacheSpark 和 Pyspark（@Macbook 中的 OS Mojave，我没有安装 Hadoop！）。但是 pyspark 命令在终端中不起作用，并给出以下错误：

/Library/Frameworks/Python.framework/Versions/3.8/bin/pyspark：第 24 行：/usr/local/lib/python3.8/site-packages/pyspark/bin/load-spark-env.sh：没有这样的文件或目录

/Library/Frameworks/Python.framework/Versions/3.8/bin/pyspark：第 77 行：/usr/local/lib/python3.8/site-packages/pyspark/bin/spark-submit：没有这样的文件或目录

/Library/Frameworks/Python.framework/Versions/3.8/bin/pyspark：第 77 行：执行：/usr/local/lib/python3.8/site-packages/pyspark/bin/spark-submit：无法执行: 没有这样的文件或目录

这些是我的环境变量：

export SPARK_HOME="/usr/local/spark" #version 1.6
export PATH=$PATH:$SPARK_HOME/bin
export PYSPARK_SUBMIT_ARGS="--master local[2]"
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.9-src.zip:$PYTHONPATH
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

我有 python 3.8 和 apacheSpark 3.0.0。请帮忙！

【问题讨论】：

删除所有内容，然后再次pip install pyspark，并直接从jupyter中的python使用它，作为一个经典模块。

标签： java python macos apache-spark pyspark

【解决方案1】：

轻松的安装方式是使用

findspark

从 sparkwebsite 下载 .tgz 文件，它带有 Hadoop 二进制文件

pip install findspark

在 Python 中：

import findspark

finspark.init('\path\to\extracted\binaries\folder')

import pyspark

【讨论】：