Pyspark 中 Union 的反义词是什么答案

【问题标题】：What is the opposite of Union in PysparkPyspark 中 Union 的反义词是什么
【发布时间】：2017-02-21 03:25:05
【问题描述】：

这似乎是一个微不足道的问题，但我在任何地方都找不到答案！

我有两个 RDD，一个带有矢量化文章，另一个带有一堆停用词。我的第一直觉是使用过滤器功能，但显然你不能让两个 RDD 以这种方式交互。我知道 Union 允许 RDD 进行交互，但我需要完全相反的方式，这样我就可以过滤掉我的第一个 RDD 中的所有停用词。

任何帮助将不胜感激。

编辑：

RDD1_filtered = RDD1.filter(lambda word: word not in RDD2)

两个 RDD 都是单词列表。我收到一条错误消息，提示我不能让两个 RDD 交互

【问题讨论】：

【解决方案1】：

听起来你想要subtract 函数：

>>> left = sc.parallelize(range(10))
>>> right = sc.parallelize([2, 6])
>>> left.subtract(right).collect()
[0, 1, 3, 4, 5, 7, 8, 9]

【讨论】：

【解决方案2】：

减（其他）

返回一个新的 DataFrame 包含此帧中的行但不包含在另一个框架。

编辑：似乎subtract 也适用于RDD

【讨论】：