使用 Spark shell 时找不到 Spark Submit答案

【问题标题】：Can't find Spark Submit when using Spark shell使用 Spark shell 时找不到 Spark Submit
【发布时间】：2022-11-20 06:47:45
【问题描述】：

我安装了 spark 并尝试使用以下命令在 shell 中运行目录“/home/xxx/Desktop/BD_Project”中的文件“train.py”： $SPARK_HOME/bin/spark-submit /home/xxx/Desktop/BD_Project/train.py > output.txt

使用与我为 spark 安装所做的相同页面的队友在运行时没有问题。但是，它为我抛出了以下错误： bash: /bin/spark-submit: No such file or directory

【问题讨论】：

您必须设置 SPARK_HOME 。您可以运行 echo $SPARK_HOME 并检查它是否指向 spark 安装目录吗？
@Sanket9394 当我运行echo $SPARK_HOME 时它没有返回任何东西。我如何将它指向spark安装目录？
转到您将下载并解压缩的 Spark 文件夹。让我们的位置是User/abc/spark_2.11。跑步SPARK_HOME=User/abc/spark_2.11

标签： apache-spark

【解决方案1】：

您需要将 SPARK_HOME 设置为安装 spark 的位置，通常位于 /usr/local/spark/bin/bin/spark-submit

在你设置它之前，通过转到目录确保 spark 的安装位置。

您可以在运行命令之前这样设置它：

export SPARK_HOME=/usr/local/spark/bin/bin/spark-submit

【讨论】：

【解决方案2】：

如果您是自制软件用户，请将您的 SPARK_HOME 设置为
/opt/homebrew/Cellar/apache-spark/3.3.1/libexec"
会解决。抱歉回复太晚了。希望这能帮助解决这个奇怪错误的人。

【讨论】：