在 Windows 上运行 Apache Spark答案

【问题标题】：Running apache Spark on windows在 Windows 上运行 Apache Spark
【发布时间】：2015-05-23 17:22:16
【问题描述】：

我正在尝试在 windows 上运行 apache spark。有人可以给我一步一步的指导来做到这一点。我已经下载了 spark、sbt 和 scala。有的可以一步一步给。我想将其作为独立程序运行

【问题讨论】：

Here
对于更新的版本（Spark-2.x.x），您可以考虑这个答案：stackoverflow.com/a/39232917/2766382

【解决方案1】：

取决于您要运行的内容。如果尝试运行 Spark Shell，请按照以下说明进行操作 http://nishutayaltech.blogspot.co.uk/2015/04/how-to-run-apache-spark-on-windows7-in.html

如果尝试运行您自己的 spark 作业，请在（JAVA/SCALA/Python）中创建一个简单的应用程序。我使用 Scala 进行开发，因此在 Scala 中包含以下库：

"org.apache.spark" %% "spark-core" % "2.1.0",
"org.apache.spark" %% "spark-sql" % "2.1.0",
"org.apache.spark" %% "spark-streaming" % "2.1.0",

然后写一个简单的main方法来测试一下：

 object MainProcessorJob extends App {
 private val applicationName = "FileProcessor"
 private val cores = "local[5]"
 private val intervalSecs = 1
 start()
 def start(): Unit = {
 val sparkConf = new SparkConf(true)
 val sparkContext = new SparkContext(cores, applicationName, sparkConf)
 ----------
}

你应该可以在 intelliJ / eclipse 中右键运行它。

【讨论】：

【解决方案2】：

您可以找到分步指南Here。在 sigmoidanalytics 网站上。但是对于不同版本的spark来说是不同的。
如果您尝试使用 eclipse 来构建一个使用 maven spark 依赖项的独立应用程序，您必须安装 cygwin 并将 cygwin/bin 添加到您的路径中，因为 Spark 使用 linux 命令“ls”来查找文件权限。

【讨论】：

【解决方案3】：

如果您使用 sbt 方法进行构建，那么您还需要 git。
在你的机器上安装 Scala、sbt 和 git。下载 Spark 源代码并运行以下命令

sbt assembly

如果你使用预构建版本，这里是一步一步的过程：
How to run Apache Spark on Windows7 in standalone mode

【讨论】：