Windows 10中的Spark设置[重复]答案

【问题标题】：Spark setup in windows 10 [duplicate]Windows 10中的Spark设置[重复]
【发布时间】：2018-01-02 16:32:20
【问题描述】：

谁能给我推荐一个很好的教程来在我的机器上设置 spark 远程访问安装了 hadoop 的其他机器。

【问题讨论】：

【解决方案1】：

我建议您在 Windows 上使用 IntelliJ IDEA 使用 Spark 进行开发。创建一个 SBT 项目，您可以在其中复制构建文件中的下一个代码，它会为您下载所有依赖项。

version := "1.0"
scalaVersion := "2.10.6"
// grading libraries
libraryDependencies += "junit" % "junit" % "4.10" % "test"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % "1.6.3",
  "org.apache.spark" %% "spark-sql" % "1.6.3",
  "org.apache.spark" %% "spark-hive" % "1.6.3"
)

libraryDependencies ++= Seq(
  "org.apache.commons" % "commons-csv" % "1.4",
  "joda-time" % "joda-time" % "2.9.9",
  "com.univocity" % "univocity-parsers" % "1.5.1"
)
libraryDependencies +="com.databricks" %% "spark-csv" % "1.5.0"

之后创建一个 scala 对象，然后开始开发。它主要用于 Spark 中的本地开发。读写文件时注意路径。

【讨论】：

【解决方案2】：

您需要的是客户端设置。您计划连接的 hadoop 发行版可能在其文档中有客户端设置。就像 MapR 有 mapr-client 一样。

一旦到位，请按照其中任何一个设置 spark，

How to set up Spark on Windows?

Running apache Spark on windows

http://www.ics.uci.edu/~shantas/Install_Spark_on_Windows10.pdf

如果这有帮助，请告诉我。干杯。

【讨论】：