【问题标题】:How to save a Spark LogisticRegressionModel model?如何保存 Spark LogisticRegressionModel 模型?
【发布时间】:2016-04-25 20:09:18
【问题描述】:

我正在使用 MLlib 1.1.0 并努力寻找一种方法来保存我的模型。 Docs 似乎不支持此版本中的功能。有什么想法吗?

【问题讨论】:

    标签: apache-spark apache-spark-mllib


    【解决方案1】:

    有保存模型选项,如:

    // Save and load model
    model.save(sc, "myModelPath")
    val sameModel = LogisticRegressionModel.load(sc, "myModelPath")
    

    但我看到它从 v1.3 开始。我不确定它是否对 1.1 仍然有效 不行的话可以试试这个升级吗??

    【讨论】:

    • 没错。它从 1.3.0 开始,但不幸的是我无法更新。我现在最终得到了这个sc.parallelize(List(model)).saveAsObjectFile("model.mdl")——尽管我不得不将 akka 帧大小增加到 32 MB。有什么选择吗?
    • 嗯,你想保存它以供以后在另一个 spark 应用程序中使用?
    • 是的。自己实现model.save() 所需的最少工作量/代码是多少?谢谢!
    • 我不太确定这有多难。你可以看看github中的代码试试。 github.com/apache/spark/blob/master/mllib/src/main/scala/org/…
    猜你喜欢
    • 2016-04-09
    • 2016-09-15
    • 2016-10-17
    • 2016-03-20
    • 1970-01-01
    • 2019-03-13
    • 2020-01-21
    • 2019-12-06
    • 2017-05-17
    相关资源
    最近更新 更多