如何使用列表的 rdd 列表中的排列来配对元素

Question

我正在尝试从 rdd 中的每个列表列表中获取成对元素的列表。

我的数据：

[['a','b','c'],['e','f','g','h'],['x','y','z']]

我想 ：

[('a','b'),('b','c'),('c','a'),('e','f'),('f','g'),('g','h'),('e','g'),('e','h')...... and all possible pairs]

Answer 1

>>> data = [[['a','b','c'],['e','f','g','h'],['x','y','z']]]
>>> df = spark.sparkContext.parallelize(data)
>>> import itertools
>>> df.map(lambda x: [list(itertools.combinations(i,2)) for i in x]).map(lambda x: list(itertools.chain.from_iterable(x))).foreach(lambda y: print(y))

结果：

[('a', 'b'), ('a', 'c'), ('b', 'c'), ('e', 'f'), ('e', 'g'), ('e', 'h'), ('f', 'g'), ('f', 'h'), ('g', 'h'), ('x', 'y'), ('x', 'z'), ('y', 'z')]