我收到此错误“对象 ml 不是包 org.apache.spark 的成员”答案

【问题标题】：I'm getting this error "object ml is not a member of package org.apache.spark"我收到此错误“对象 ml 不是包 org.apache.spark 的成员”
【发布时间】：2020-06-07 21:44:04
【问题描述】：

我正在使用 spark 2.4.4 我的 sbt 文件看起来像

name := "convertor"

version := "0.1"

scalaVersion := "2.11.12"


libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.4"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "2.4.4"
libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.4.4" % "runtime"

但是，我还是得到了

Error:(6, 25) object ml is not a member of package org.apache.spark
import org.apache.spark.ml.feature.OneHotEncoderEstimator

【问题讨论】：

标签： apache-spark sbt apache-spark-mllib

【解决方案1】：

我在我的 sbt 文件中尝试了这个库，我的问题得到了解决。

libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.3.0"

【讨论】：

这并不能解决问题，您应该使用相同版本的包，只需更改您的范围（运行时）就可以了。
最好始终为 Spark 依赖项使用“提供”范围。只要集群在运行时提供 Spark 类，就必须从组装的 JAR 中排除 Spark 依赖项。
我已经尝试了我的 spark 提供的范围。它对我不起作用。