(Spark) 对象 {name} 不是包 org.apache.spark.ml 的成员答案

【问题标题】：(Spark) object {name} is not a member of package org.apache.spark.ml(Spark) 对象 {name} 不是包 org.apache.spark.ml 的成员
【发布时间】：2017-03-09 23:23:12
【问题描述】：

我正在尝试根据此处的示例在 apache spark 上使用 scala 运行自包含应用程序： http://spark.apache.org/docs/latest/ml-pipeline.html

这是我的完整代码：

import org.apache.spark.ml.classification.LogisticRegression
import org.apache.spark.ml.linalg.{Vector, Vectors}
import org.apache.spark.ml.param.ParamMap
import org.apache.spark.sql.Row

object mllibexample1 {
  def main(args: Array[String]) {
    val spark = SparkSession
      .builder()
      .master("local[*]")
      .appName("logistic regression example 1")
      .getOrCreate()


    val training = spark.createDataFrame(Seq(
      (1.0, Vectors.dense(0.0, 1.1, 0.1)),
      (0.0, Vectors.dense(2.0, 1.0, -1.0)),
      (0.0, Vectors.dense(2.0, 1.3, 1.0)),
      (1.0, Vectors.dense(0.0, 1.2, -0.5))
    )).toDF("label", "features")

    val lr = new LogisticRegression()

    println("LogisticRegression parameters:\n" + lr.explainParams() + "\n")

    lr.setMaxIter(100)
      .setRegParam(0.01)

    val model1 = lr.fit(training)

    println("Model 1 was fit using parameters: " + model1.parent.extractParamMap)
  }
}

build.sbt 中的依赖项：

name := "example"
version := "1.0.0"
scalaVersion := "2.11.8"
libraryDependencies ++= Seq(
    "org.apache.spark" %% "spark-core" % "2.0.1",
    "org.apache.spark" %% "spark-sql" % "2.0.1",
    "org.apache.spark" %% "spark-mllib-local" % "2.0.1",
    "com.github.fommil.netlib" % "all" % "1.1.2"
  )

但是在 sbt shell 中运行程序后，我得到了以下错误：

[info] Compiling 1 Scala source to /dataplatform/example/target/scala-2.11/classes...
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:1: object classification is not a member of package org.apache.spark.ml
[error] import org.apache.spark.ml.classification.LogisticRegression
[error]                            ^
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:3: object param is not a member of package org.apache.spark.ml
[error] import org.apache.spark.ml.param.ParamMap
[error]                            ^
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:8: not found: value SparkSession
[error]     val spark = SparkSession
[error]                 ^
[error] /dataplatform/example/src/main/scala/mllibexample1.scala:22: not found: type LogisticRegression
[error]     val lr = new LogisticRegression()

我可以在 spark 交互式 shell 中成功运行此代码。我是否遗漏了 *.sbt 文件中的某些内容？

谢谢，巴渝

【问题讨论】：

stackoverflow.com/questions/27438353/mllib-dependency-error的可能重复

标签： scala apache-spark sbt apache-spark-mllib

【解决方案1】：

您错过了一个 MLlib 依赖项：

"org.apache.spark" %% "spark-mllib" % "2.0.1"

本地是不够的。

【讨论】：

当我尝试导入它时得到这个：[warn] :: org.apache.spark#spark-mllib_2.12;2.0.1: not found

【解决方案2】：

我有同样的问题，我有一个 Maven Scala 项目。

我使用了以下 Maven 依赖项。添加这个maven依赖后，问题就解决了。

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-mllib_2.11</artifactId>
            <version>2.0.2</version>
        </dependency

【讨论】：