scala中的Spark Streaming代码错误答案

【问题标题】：Error in Spark Streaming code in scalascala中的Spark Streaming代码错误
【发布时间】：2016-10-06 21:58:31
【问题描述】：

我在 scala 中使用 spark 流，我正在处理流 twitter 数据。我有以下代码：

val ssc = new StreamingContext(new SparkConf(), Seconds(5))
val tweets = TwitterUtils.createStream(ssc, None)

val user = tweets.map(x=> x.getText())
val lang = tweets.map(x=> x.getLang())

我收到以下错误：

[error] /home/user/Lab1.1/Twitterstats.scala:103: value getLang is not a member of twitter4j.Status
[error]                 val lang = tweets.map(x=> x.getLang())
[error]                                             ^
[error] one error found

上面的代码有什么问题？有人可以帮忙吗。

【问题讨论】：

你使用的是什么版本的 spark-streaming-twitter

标签： scala apache-spark spark-streaming

【解决方案1】：

spark-streaming-twitter 使用 Twitter4j。仅从 Twitter4J 的 3.0.6 版本开始支持 getLang()。如果您使用 spark-streaming-twitter 的 1.5.2（或更低）版本，您将无法调用 getLang()，因为它使用版本 twitter4j 的 >3.0.3。由于支持 1.6.0 版本 4.0.4 以及 getLang() 函数。

因此您可以将 spark-streaming-twitter 升级到 1.6.0 或更高版本。或者您可以使用另一个第三方库来检测您的推文的语言。

（可能duplicate）

【讨论】：