Spark/Pyspark 中的 Scala 依赖项

Question

我想在一台机器上安装 Spark，但我不知道是否需要 Scala 作为依赖项。 正如文档所述，我已经安装了 Java (1.8)。但我不知道我是否需要任何其他依赖项

Answer 1

Scala 包含在 Spark 的发行版中，因此要在 Spark REPL 中使用 Scala，您无需安装 Scala。这里包括 scala jars。

如果您正在为 Spark 项目设置 IDE，那么您将需要 Scala 作为依赖项。