在 Spark MLlib 中，如何使用 Python 将 BisectingKMeansModel 保存到 HDFS？

【问题标题】：In Spark MLlib, How to save the BisectingKMeansModel with Python to HDFS?在 Spark MLlib 中，如何使用 Python 将 BisectingKMeansModel 保存到 HDFS？
【发布时间】：2018-07-10 21:16:21
【问题描述】：

在 Spark MLlib 中，pyspark 中的 BisectingKMeansModel 没有保存/加载功能。为什么？如何使用 Python 将 BisectingKMeans 模型保存或加载到 HDFS？

【问题讨论】：

您是否仍然尝试使用save？
在 pyspark.mllib 中，BisectingKMeans 没有保存/加载功能。在 pyspark ml 中，BisectingKMeans 具有保存/加载功能

标签： pyspark apache-spark-mllib

【解决方案1】：

可能是你的 spark 版本。对于二等分 k_means 建议在 2.1.0 以上。

您可以在此处找到有关 pyspark.ml.clustering.BisectingKMeans 类的完整示例，希望对您有所帮助：

https://spark.apache.org/docs/2.1.0/api/python/pyspark.ml.html#pyspark.ml.clustering.BisectingKMeans%20featuresCol=%22features%22,%20predictionCol=%22prediction%22

示例代码的最后一部分包括模型保存/加载：

model_path = temp_path + "/bkm_model"
model.save(model_path)
model2 = BisectingKMeansModel.load(model_path)

它也适用于 hdfs，但在保存模型之前确保 temp_path/bkm_model 文件夹不存在，否则会报错：

(java.io.IOException: Path <temp_path>/bkm_model already exists)

【讨论】：