无法在 macOS Mojave 上运行 spark/pyspark答案

【问题标题】：Cannot get spark/pyspark working on macOS Mojave无法在 macOS Mojave 上运行 spark/pyspark
【发布时间】：2020-02-28 20:13:46
【问题描述】：

有一台装有 macOS Mojave 的新 MacBook，但 spark/pyspark 无法正常工作。我做了以下事情：

从https://spark.apache.org/downloads.html下载了最新的Apache Spark
将其解压缩到我的主目录 (/Users/myname/)
重命名文件夹spark
在 Finder 窗口中检查了 spark 存在，并且该文件夹包含 python、bin 和 bin/spark-shell 子文件夹
能够通过以下方式安装包：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py >> python get-pip.py 在终端 >> 检查它是否已通过在 python shell 中执行 import pip 进行安装 >> sudo easy_install pip 在常规终端中李>
pip install pyspark，成功了
在 Users/myname/ 路径中创建了 .bashrc 和 .bash_profile 文件
我在这些 bash 文件中尝试了以下版本的命令：

export SPARK_HOME="/Users/myname/spark/python"
export PATH="$SPARK_HOME/bin:$PATH"

export SPARK_HOME=/Users/myname/spark/python
export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME=/Users/myname/spark
export PATH=$SPARK_HOME/bin:$PATH

export SPARK_HOME=~/spark
export PATH=$SPARK_HOME/bin:$PATH

不同的安装文章说我应该只能在终端中执行pyspark，或者spark/bin/spark-shell，或者只是'bin/spark-shell`，我只是不断收到消息的版本

-bash: pyspark: command not found

有什么建议吗？

【问题讨论】：

标签： macos apache-spark pyspark installation

【解决方案1】：

如果您从 pip 安装了 pyspark，则不需要独立安装。你只需要修复你的环境变量。首先，找到您的站点包的位置：

python -c "import site; print(site.getsitepackages())"

大概是这样的/usr/lib/pythonX.Y/site-packages

然后，将导出添加到您的 bash 配置文件并获取它。

echo "export SPARK_HOME=/usr/lib/pythonX.Y/site-packages/pyspark" >> ~/.bash_profile
echo "export PATH=$SPARK_HOME/bin:$PATH" >> ~/.bash_profile
source ~/.bash_profile

【讨论】：