使用 Spark 1.6.2 与 Spark 2.0.0 的 KMeans

Question

我在我无法控制的环境中使用Kmeans()，我将在

我应该为在我离开之前敦促“他们”升级到 Spark 2.0.0 而付出代价吗？换句话说，Spark 2.0.0 是否在 Spark Mllib KMeans() 方面引入了任何重大改进？

就我而言，质量是比速度更重要的因素。

Answer 1

这不太可能。

Spark 2.0.0 没有引入any significant improvements to the core RDD API 和KMeans 实现didn't change much since 1.6，只有SPARK-15322、SPARK-16696 和SPARK-16694 引入了相对显着的变化。

如果您使用 ML API，还可以进行一些与 SPARK-14850 相关的改进，但总的来说，我在这里看不到任何游戏规则改变者。