如何在 Apache Spark 中保存和加载 MLLib 模型？

【问题标题】：How to save and load MLLib model in Apache Spark?如何在 Apache Spark 中保存和加载 MLLib 模型？
【发布时间】：2016-03-20 03:13:06
【问题描述】：

我在 Apache Spark 中训练了一个分类模型（使用 pyspark）。我将模型存储在一个对象中，LogisticRegressionModel。现在，我想对新数据进行预测。我想存储模型，并将其读回到新程序中以进行预测。知道如何存储模型吗？我在考虑可能是 pickle，但我是 python 和 Spark 的新手，所以我想听听社区的想法。

【问题讨论】：

这与Saving a ML Model for future usage这个问题略有关系，不同的是在这个问题中你要求使用MLLib

标签： python apache-spark pyspark apache-spark-mllib

【解决方案1】：

您可以使用save method 的mllib 模型来保存您的模型。

# let lrm be a LogisticRegression Model
lrm.save(sc, "lrm_model.model")

存储后，您可以将其加载到另一个应用程序中。

sameModel = LogisticRegressionModel.load(sc, "lrm_model.model")

正如@zero323 之前所说，还有另一种方法可以实现这一点，那就是使用Predictive Model Markup Language (PMML)。

是由 Data Mining Group 开发的一种基于 XML 的文件格式，旨在为应用程序提供一种方法来描述和交换由数据挖掘和机器学习算法生成的模型。

【讨论】：