在没有 Spark 控制台的情况下使用 Apache Spark MLlib 库

Question

我在Windows 7 上安装了Apache Spark 并成功让Scala 和Python 控制台运行..

我的问题是，在不使用 Spark 控制台的情况下，如果只是想直接从 Scala、Java 或 Python 安装中使用Mlib（机器学习库），是否需要使用控制台。

有没有一种简单的方法可以做到这一点，我可能不想这样做的主要原因有哪些？

Answer 1

当然你不必使用控制台。您可以在代码中创建 Spark 上下文：

val conf = new SparkConf().setMaster("local[4]").setAppName("Spark Pi")
val spark = new SparkContext(conf)

然后创建RDD：

val data = spark.textFile("data/mllib/kmeans_data.txt")

并在其上运行 Mlib 算法。