Scala - Spark Streaming 和 Twitter答案

【问题标题】：Scala - Spark Streaming and TwitterScala - Spark Streaming 和 Twitter
【发布时间】：2015-08-18 14:44:57
【问题描述】：

我一直在尝试在 Scala 中构建一个程序来使用流推文。我的问题是在构建程序时。

我收到了这个错误

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/twitter/TwitterUtils$

我认为 sbt 文件有问题。我尝试了不同的配置，但都没有奏效。谁能指出我正确的方向？

我知道这个帖子有类似的问题：java.lang.NoClassDefFoundError: org/apache/spark/streaming/twitter/TwitterUtils$ while running TwitterPopularTags

这是我当前的 sbt 文件

name := "Tweets"

version := "1.0"

scalaVersion := "2.10.4"

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.4.0"

libraryDependencies += "org.apache.spark" % "spark-streaming-twitter_2.10" % "1.4.0"

谢谢

【问题讨论】：

链接的票有最合理的罪魁祸首：通过 sbt-assembly 创建一个 uber jar。

标签： scala apache-spark spark-streaming

【解决方案1】：

我测试了这个例子，并且遇到了类似的问题，解决方案是在项目路径中创建一个文件夹“lib”，并将所有需要的 jars 手动放入这个文件夹中，希望这个解决方案对你有用

【讨论】：