在 Windows 上从源代码运行 spark - 没有此类文件或目录错误

Question

我想在我的 Windows 机器上从源代码运行 Spark。我做了以下步骤：

1. git 克隆https://github.com/apache/spark
2. 将 SPARK_HOME 变量添加到用户变量中。
3. 已将 %SPARK_HOME%\bin 添加到 PATH 变量中。
4. ./build/mvn -DskipTests 清理包
5. ./bin/spark-shell

最后一条命令返回以下错误：

我应该怎么做才能修复错误？

Answer 1

首先，请参阅下面的链接以获取解决方案。票数最高的答案给了我解决这个问题的工作脚本。
：Failed to start master for Spark in Windows

原因是 spark 启动脚本不支持 Windows。如果您是 Windows 用户，则 spark 文档 (https://spark.apache.org/docs/1.2.0/spark-standalone.html) 坚持要手动启动 master 和 worker。所以需要先运行master，再运行spark-shell。