对象流不是包 org.apache.spark 的成员答案

【问题标题】：Object streaming is not a member of package org.apache.spark对象流不是包 org.apache.spark 的成员
【发布时间】：2020-02-27 05:34:54
【问题描述】：

我正在尝试编译一个简单的 scala 程序并且我正在使用 StreamingContext ，这是我的代码的 sn-p：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.scheduler.SparkListener
import org.apache.spark.scheduler.SparkListenerStageCompleted
import org.apache.spark.streaming.StreamingContext._ //error:object streaming is not a member of package org.apache.spark
object FileCount {
    def main(args: Array[String]) {
    val conf = new SparkConf()
    .setAppName("File Count")
    .setMaster("local")

    val sc = new SparkContext(conf)
    val textFile = sc.textFile(args(0))
    val ssc = new StreamingContext(sc, Seconds(10)) //error : not found: type StreamingContext
    sc.stop()    
  }
}

我有这两个错误：

object streaming is not a member of package org.apache.spark

和

not found: type StreamingContext

请帮忙！！

【问题讨论】：

标签： scala apache-spark

【解决方案1】：

您需要将 spark-streaming 的依赖项添加到构建管理器中。

【讨论】：

我可以知道 sbt 文件的依赖名称吗？
根据 Scala 和 Spark 的版本，查看mvn repo info。

【解决方案2】：

如果你使用的是 sbt，请添加以下库依赖项：

libraryDependencies += "org.apache.spark" %% "spark-streaming" % "2.1.0" % "provided"

如果你使用的是 maven，请将以下内容添加到 pom.xml

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_2.11</artifactId>
    <version>2.1.0</version>
    <scope>provided</scope>
</dependency>

【讨论】：

【解决方案3】：

您需要添加与您的import 语句相对应的正确依赖项。并且希望显然您已经导入了 spark-streaming 依赖项。除了我们也需要这个依赖。

这里是基于你的依赖管理工具的依赖。

对于 Maven：在 pom.xml 中添加以下内容

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-mllib_2.11</artifactId>
    <version>2.1.0</version>
</dependency>

对于 SBT：将以下内容添加到 build.sbt

libraryDependencies += "org.apache.spark" %% "spark-mllib" % "2.1.0" % "provided"

对于 Gradle

provided group: 'org.apache.spark', name: 'spark-mllib_2.11', version: '2.1.0'

提示：使用grepcode.com 通过搜索您的导入语句来查找适当的依赖项。这是一个无聊的网站！

注意：依赖版本可以随时间更改和更新。

【讨论】：

【解决方案4】：

在它为我工作之后，我添加了缺少的依赖项，它们是

"org.apache.spark" %% "spark-mllib" % SparkVersion,
"org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.0.1"

【讨论】：