所有可能对的整数 RDD（有序）

Question

我正在使用 pyspark 从 int 数组的 RDD 中查找所有可能的对。

输入：

[[0, 1, 2],
[3, 4]]

输出所有可能组合的RDD键值对：

(0,1), (0,2), (1,0), ....  (3,4), (4,3)

我想在python而不是scala中实现它

Answer 1

permutations 可用于生成长度为 2 的元组。

from itertools import permutations

rdd = spark.sparkContext.parallelize([[0, 1, 2],[3, 4]])

rdd.flatMap(lambda x: permutations(x,2)).collect()

输出

[(0, 1), (0, 2), (1, 0), (1, 2), (2, 0), (2, 1), (3, 4), (4, 3)]