【发布时间】：2018-03-07 06:47:50
【问题描述】：
Spark如何实现交集方法？是否需要 2 个 RDD 共置在一台机器上？
来自here，它说它使用哈希表，这有点奇怪，因为它可能不可扩展，并且对两个 rdds 进行排序然后逐项比较可能提供了一个更具可扩展性的解决方案。
欢迎对这个主题提出任何想法
【问题讨论】：
-
只是猜测实现：如果您有多个
A的子集，这样它们的并集就等于A，以及B的多个子集；union(intersection(A1, B1), intersection(A2, B2), ... intersection(An, Bn))等于intersection(A, B)不是真的吗？如果这是真的，那么它可能就是这样工作的，即A1和B1只是A和B的分区/子集...
标签： apache-spark pyspark