匹配两个 RDD [字符串]

Question

我尝试匹配两个 RDD： RDD1 包含大量单词 [String]，RDD2 包含城市名称 [String]。

我想返回一个 RDD，其中包含 RDD1 中 RDD2 中的元素。 类似于subtract 的反面。

之后我想计算每个剩余单词的出现次数，但这不是问题。

谢谢

Answer 1

我想返回一个包含 RDD1 中 RDD2 中的元素的 RDD

如果我猜对了：

rdd1.subtract(rdd2.subtract(rdd1))

注意这段代码和intersection的区别：

val rdd1 = sc.parallelize(Seq("a", "a", "b", "c"))
val rdd2 = sc.parallelize(Seq("a", "c", "d"))
val diff = rdd1.subtract(rdd2)
rdd1.subtract(diff).collect()
res0: Array[String] = Array(a, a, c)
rdd1.intersection(rdd2).collect()
res1: Array[String] = Array(a, c)

因此，如果您的第一个 RDD 包含重复项，并且您的目标是考虑这些重复项，您可能更喜欢双 subtract 解决方案。否则，intersection 非常适合。