【问题标题】:Spark import of the mllib package membermllib 包成员的 Spark 导入
【发布时间】:2017-01-08 05:13:33
【问题描述】:

我想从 Spark CholeskyDecomposition 导入。

我用下一个方法来做。首先我修改了我的 sbt 文件并添加了额外的依赖:

"org.apache.spark"%%"spark-mllib"%"1.3.0"

然后我在我的 Scala 代码中导入:

import org.apache.spark.mllib.linalg.CholeskyDecomposition

当我执行我的代码(通过 build.sbt)时,我收到了下一条错误消息:

object CholeskyDecomposition 不是包的成员 org.apache.spark.mllib.linalg

当我将导入语句修改为:

import org.apache.spark.mllib.linalg

一切顺利,代码执行时没有错误消息(当然没有 CholeskyDecomposition 对象)。 无论如何,我很确定对象 CholeskyDecomposition 是 mllib Spark 的 linalg 包的成员。 我也只是复制了 import 语句,并没有出现语法错误。

【问题讨论】:

    标签: scala apache-spark apache-spark-mllib


    【解决方案1】:

    它是org.apache.spark.mllib.linalgnow 的成员,但它不在spark-mllib 1.3 中。

    我什至不确定它是什么时候引入的,但我相信它是在我阅读 commits 时添加的 1.6.0-SNAPSHOT。 (提交哈希:7bf07faa716bd6a01252c5e888d0956096bde026)

    【讨论】:

    • 好的,谢谢,我会修改我的build.sbt文件并设置为1.6.0版本
    • 现在我可以进行导入了。但我的代码片段不起作用。我有下一个代码:CholeskyDecomposition.solve(x, y),错误消息是object CholeskyDecomposition in package linalg cannot be accessed in package org.apache.spark.mllib.linalg
    • 那是因为它是一个私有对象。我从来没有老实说,但是通过 hack,您也许可以使用求解器。我现在无法尝试找到修复程序,因为我无权访问 IDE 或 spark 集群进行测试。
    猜你喜欢
    • 1970-01-01
    • 2017-06-14
    • 2016-02-05
    • 2017-03-24
    • 2016-03-07
    • 1970-01-01
    • 2016-01-11
    • 2015-02-23
    • 2017-12-20
    相关资源
    最近更新 更多