在 apache bahir 中找不到 Spark 2.0.2 twitter 流

Question

我正在尝试使用 scala 在 spark 中构建一个 twitter 流示例。

• Spark 版本：2.0.2
• Scala 版本：2.11.8

在为 spark 添加外部 jar 时，我从我的 spark 安装文件夹中获得了 spark 流 (spark-streaming_2.11-2.0.2.jar)，但是在从 apache bahir 添加 twitter 流 jar 时，我得到了最新的 (spark-streaming- twitter_2.11-2.0.1.jar)。

所以在运行时我在 eclipse 中得到以下错误

加载类文件“TwitterUtils.class”时检测到缺少或无效的依赖项。无法访问 package 中的术语 twitter4j，因为它（或其依赖项）丢失。检查您的构建定义是否存在缺失或冲突的依赖项。 （使用-Ylog-classpath 重新运行以查看有问题的类路径。）如果“TwitterUtils.class”针对不兼容的 . TwitterWordCount 未知的 Scala 问题

我是在添加正确的 jar 还是需要更改任何代码？

以下是我的导入

import org.apache.spark.streaming.twitter._
import org.apache.spark.streaming.{StreamingContext,Seconds}

Answer 1

无法访问 package 中的术语 twitter4j，因为它（或其依赖项）丢失了。

您还需要将 twitter4j jar 添加到您的构建路径中。