【问题标题】:Loading CrossValidator Object Pyspark加载 CrossValidator 对象 Pyspark
【发布时间】:2020-08-27 19:54:54
【问题描述】:

我收到一条错误消息,提示没有 cvModel.bestModel 的训练摘要。我可以访问 cvModel_lasso 的摘要,但是一旦我保存并加载它,我就无法查看摘要。如何查看此摘要?

from pyspark.ml.tuning import ParamGridBuilder, CrossValidator, CrossValidatorModel

cv = CrossValidator(estimator=lr, estimatorParamMaps=paramGrid, evaluator=regEval, numFolds=10)

cvModel_lasso = cv.fit(preppedDataDF)

cvModel_lasso.write().overwrite().save('myModelPath_lasso')
cvModel=CrossValidatorModel.load('myModelPath_lasso')

trainingSummary = cvModel.bestModel.summary

收到的错误:

RuntimeError: No training summary available for this LinearRegressionModel

【问题讨论】:

    标签: python apache-spark pyspark linear-regression apache-spark-mllib


    【解决方案1】:

    通常,您会保存最佳模型,而不是像您所做的那样保存验证器模型,即

    best_model = cvModel_lasso.bestModel
    best_model.write().overwrite().save('myModelPath_lasso')
    

    在加载回best_model 时,您应该能够检索摘要。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2019-08-10
      • 2023-03-17
      • 2018-12-16
      • 1970-01-01
      • 1970-01-01
      • 2017-05-26
      • 1970-01-01
      相关资源
      最近更新 更多