如何在 PySpark 脚本中使用 pmml 模型？答案

【问题标题】：How can I use pmml model in PySpark script?如何在 PySpark 脚本中使用 pmml 模型？
【发布时间】：2019-03-27 19:58:16
【问题描述】：

我有xgboost 模型，它是在纯Python 上训练并转换为pmml 格式的。现在我需要在PySpark脚本中使用这个模型，但是我没有想法，我怎么能实现它。是否有允许在Python 中导入pmml 模型并将其用于预测的方法？感谢您的任何建议。

BR，
弗拉基米尔

【问题讨论】：

【解决方案1】：

您可以使用PyPMML-Spark 在 PySpark 脚本中导入 PMML，例如：

from pypmml_spark import ScoreModel

model = ScoreModel.fromFile('the/pmml/file/path')
score_df = model.transform(df)

【讨论】：

【解决方案2】：

Spark 不支持直接从 PMML 导入。虽然我没有遇到过 pyspark PMML 导入器，但有一个用于 java (https://github.com/jpmml/jpmml-evaluator-spark)。您可以做的是包装 java（或 scala），以便您可以从 python 访问它（例如，参见http://aseigneurin.github.io/2016/09/01/spark-calling-scala-code-from-pyspark.html）。

【讨论】：