Spark Streaming StreamingContext 依赖问题答案

【问题标题】：Spark Streaming StreamingContext dependency issueSpark Streaming StreamingContext 依赖问题
【发布时间】：2015-03-10 03:01:34
【问题描述】：

我正在尝试将 Spark Streaming 与 Scala 一起使用，但我遇到了错误，我不知道为什么。
StreamingContext 是给出错误的行：

val sparkConf = new SparkConf().setAppName("App_StreamingConsumer")
val ssc = new StreamingContext(sparkConf, Seconds(2))

这是两个错误：

错误的符号引用。 StreamingContext.class 中的签名是指在不可用的包 org.apache.hadoop 中使用术语 conf。它当前类路径或版本中可能完全缺失类路径上的可能与使用的版本不兼容编译 StreamingContext.class。

还有：

加载类文件时检测到缺少或无效的依赖项 'StreamingContext.class'。无法访问包中的术语 conf org.apache.hadoop，因为它（或其依赖项）丢失了。查看缺少或冲突的依赖项的构建定义。（重新运行使用 -Ylog-classpath 查看有问题的类路径。）完全重建如果 'StreamingContext.class' 是针对 org.apache.hadoop 版本不兼容。

之前有人问过这个问题： Spark Streaming StreamingContext error 错误似乎来自依赖问题，但据我所知，我的依赖都正常。

【问题讨论】：

标签： scala spark-streaming

【解决方案1】：

我只需要在我的依赖项中包含 hadoop-core，我有 hadoop-client，但没有意识到我还需要核心。

【讨论】：

【解决方案2】：

我也遇到过类似的问题，原因是在[build path]中缺少[hadoop]依赖。这是我的解决方案：在build.sbt文件中添加：“org.apache.hadoop”%“hadoop-hdfs”%“2.6.0”，运行命令：[sbt eclipse]，会自动将[hadoop]依赖包添加到项目在[构建路径]中。

注意：一定要使用[sbt eclipse]命令，而不是[sbt update]

【讨论】：