分布式计算上的 K-Means 计算

Question

我在 scala 0.9.0 上运行 k-means 聚类，我试图了解数据如何在 n 个系统之间分布以计算 k 个中心数据点。

我了解什么是 k-means 聚类，但我想知道如何划分数据以及如何在分布式计算（map 和 reduce）上进行计算。在这个 scala 版本中，KMeansDataGenerator 可以选择将数据点生成到 n 个分区中。每个从节点是否得到一个数据文件分区？

Answer 1

KMeansDataGenerator 使用sc.parallelize 生成数据。 sc.parallelize中有一个参数是分区号。您可以通过KMeansDataGenerator的选项进行更改。

之后，SparkKMeans 将在整个 k-means 算法中使用这个分区号。

每个从节点是否得到一个数据文件分区？

Spark 不保证分区的位置。但是，它会尝试将计算安排到最近的具有分区文件的节点。