Spark：从与在从属和主控上安装 Spark 的目录不同的目录运行 Spark shell答案

【问题标题】：Spark: Run Spark shell from a different directory than where Spark is installed on slaves and masterSpark：从与在从属和主控上安装 Spark 的目录不同的目录运行 Spark shell
【发布时间】：2014-07-16 03:06:31
【问题描述】：

我有一个小型集群（4 台机器），有 3 个从属节点和一个主节点，全部安装到 /home/spark/spark。（即$SPARK_HOME 是/home/spark/spark）

当我使用 spark shell 时：/home/spark/spark/bin/pyspark --master spark://192.168.0.11:7077 一切正常。但是，我希望我的同事能够从安装在他们希望的任何目录中的机器上的本地 spark 实例连接到集群。

目前，如果有人在 /home/user12/spark 中安装了 spark 并运行 /home/user12/spark/bin/pyspark --master spark://192.168.0.11:7077，则 spark shell 将毫无问题地连接到 master，但在我尝试运行代码时失败并出现错误：

    class java.io.IOException: Cannot run program 
    "/home/user12/bin/compute-classpath.sh"
    (in directory "."): error=2, No such file or directory)

这里的问题是 Spark 正在 /home/user12/spark/ 中寻找 spark 安装，我只想告诉 spark 在 /home/ 中寻找spark/spark/ 代替。

我该怎么做？

【问题讨论】：

标签： cluster-computing apache-spark

【解决方案1】：

您需要编辑三个文件，spark-submit、spark-class 和 pyspark（都在 bin 文件夹中）。

找线

export SPARK_HOME = [...]

然后改成

SPARK_HOME = [...]

最后确保将SPARK_HOME设置为集群上安装spark的目录。

这对我有用。

这里有详细的解释。

http://apache-spark-user-list.1001560.n3.nabble.com/executor-failed-cannot-find-compute-classpath-sh-td859.html

【讨论】：