向 twitter 流行标签添加语言过滤器 - scala

Question

我是 Spark 和 Scala 的新手。我运行了 Spark 流作业 - twitter 流行的哈希标签。

我为某些词添加了过滤器，并且能够过滤掉推文：

val filter = Array("spark", "Big Data")
val stream = TwitterUtils.createStream(ssc, None, filter) 

同样，我想添加一个语言过滤器，以便仅流式传输英语推文。 Twitter4j 有Track() 和Locations。它有语言过滤器吗？如果是这样，它在 Scala 中是如何工作的？

Answer 1

我在重复this Spark thread 中已经说过的话。

Spark 使用 Twitter4J 作为提要。 Twitter4J 从 3.0.6 版开始具有 getLang (doc)，它允许您：

.filter(_.getLang == "en")

它可以用来对付twitter4j.Status的DStream。

但不幸的是，Spark 使用的是 Twitter4J (doc) 的旧版 version，它没有 getLang。

要么将 Spark 中的 Twitter4J 升级到 3.0.6，要么等待 Spark 升级 Twitter4J，要么采用完全不同的方法。