如何按元素合并两个 RDD

Question

假设我有两个类似的 RDD

第一

1
2
3
4
5

秒

6
7
8
9
10

新的 RDD 将是

1 6
2 7
3 8
4 9
5 10

所以，这基本上是元素明智的合并...我们假设两个 RDD 大小相同。

Answer 1

您可以使用 Spark 的 zip 函数。根据文档：

>>> x = sc.parallelize(range(0,5))
>>> y = sc.parallelize(range(1000, 1005))
>>> x.zip(y).collect()
[(0, 1000), (1, 1001), (2, 1002), (3, 1003), (4, 1004)]

请注意，此函数假定两个 RDD 中的分区数和元素数相同。