无法运行 pyspark：找不到 Spark jars 目录答案

【问题标题】：Unable to run pyspark: Failed to find Spark jars directory无法运行 pyspark：找不到 Spark jars 目录
【发布时间】：2017-09-06 14:26:40
【问题描述】：

我已经下载了spark-2.1.0-bin-without-hadoop，它在以下目录中：

 ~/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop

当我转到该目录然后 bin 并尝试运行 pyspark 时，我收到以下错误：

/usr/local/bin/pyspark: line 24: ~/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop/bin/load-spark-env.sh: No such file or directory
/Users/ahajibagheri/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop/bin/spark-class: line 24: ~/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop/bin/load-spark-env.sh: No such file or directory
Failed to find Spark jars directory (~/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop/assembly/target/scala-/jars).
You need to build Spark with the target "package" before running this program.

我已经设置了我的 JAVA_HOME 和 SPARK_HOME：

$JAVA_HOME
/Library/Java/JavaVirtualMachines/jdk1.8.0_131.jdk/Contents/Home
echo $SPARK_HOME
~/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop

我在 macOS Sierra 10.12.6 上运行一切。任何有关此问题的帮助将不胜感激。如果我遗漏了什么，请告诉我，以便我可以相应地更新问题。

谢谢

【问题讨论】：

必须使用此处给出的说明重新安装 spark：gist.github.com/ololobus/4c221a0891775eaa86b0

标签： macos hadoop pyspark

【解决方案1】：

我有同样的问题。为了解决这个问题，我必须为主目录（~）定义没有快捷方式的SPARK_HOME。我认为你的情况应该是这样的：

export SPARK_HOME="/Users/ahajibagheri/Desktop/ahajib/opt/spark-2.1.0-bin-without-hadoop"

【讨论】：

【解决方案2】：

在我的情况下，我通过pip3 install pyspark 安装spark，并且由不正确的SPARK_HOME 变量引起的错误。当我运行如下命令时它可以工作：

PYSPARK_PYTHON=python3 SPARK_HOME=/usr/local/lib/python3.7/site-packages/pyspark python3 wordcount.py a.txt

【讨论】：

wordcount.py 文件在哪里。