如何在镶木地板文件中使用 K-means

Question

我想学习如何在 Spark 上使用 K-Means 算法。 我有一个镶木地板文件，我想用 k-means 分析它。如何告诉 spark 仅分析特定列？如何从行中删除空值？有人可以编写一个简单的代码来说明如何做到这一点吗？ 谢谢

Answer 1

如果您想要特定的列，只需在数据框上进行选择，然后使用 VectorAssembler。 KMeans 需要向量列作为输入特征。 您可以使用 DataFrameNaFunctions 删除、填充或替换空值。

请看下面的例子：

val dataset= spark.range(10)
  .select('id.cast("double").as("c1"),lit('id/2).as("c2").cast("double"))

val assembler = new VectorAssembler()
  .setInputCols(dataset.columns)
  .setOutputCol("myFeatures")
val output = assembler.transform(dataset)

// Trains a k-means model.
val kmeans = new KMeans().setK(2).setSeed(1L).setFeaturesCol("myFeatures")
val model = kmeans.fit(output)

// Make predictions
val predictions = model.transform(output)

predictions.show()

+---+---+----------+----------+
| c1| c2|myFeatures|prediction|
+---+---+----------+----------+
|0.0|0.0| (2,[],[])|         1|
|1.0|0.5| [1.0,0.5]|         1|
|2.0|1.0| [2.0,1.0]|         1|
|3.0|1.5| [3.0,1.5]|         1|
|4.0|2.0| [4.0,2.0]|         1|
|5.0|2.5| [5.0,2.5]|         0|
|6.0|3.0| [6.0,3.0]|         0|
|7.0|3.5| [7.0,3.5]|         0|
|8.0|4.0| [8.0,4.0]|         0|
|9.0|4.5| [9.0,4.5]|         0|
+---+---+----------+----------+