【问题标题】:Spark-shell uses different version of Scala. Used homebrew to install both scala and apache-sparkSpark-shell 使用不同版本的 Scala。使用自制软件安装 scala 和 apache-spark
【发布时间】:2017-10-24 02:37:40
【问题描述】:
我使用自制软件安装了 scala 和 apache-spark,它安装了 scala 2.12.4 和 apache-spark 2.2.0。但是,如果您检查 spark-shell -version,它会使用不同的 scala 版本。
如何设置 spark-shell 以使用已安装的 scala 版本?有没有办法在自制软件安装期间设置 apache-spark 使用的 scala 版本?
【问题讨论】:
标签:
scala
apache-spark
homebrew
【解决方案1】:
TL;DR你不能。
两个问题:
- Spark(它不是真正特定于 Spark)将使用已用于编译它的 Scala 版本。机器上安装的 Scala compile 版本根本不相关。
- Spark 尚不支持 Scala 2.12,因此无法重新编译。