如何从单元素集到双元素集对 rdd-pyspark 中的元素进行分组

Question

我有一个像下面这样的rdd
['1','5','7','8']

首先我想把它转换成
['1 5','1 7', '1 8','5 7','5 8', '7 8'...]

那么
['1 5 7', '1 5 8', '1 7 8'...]

在这些步骤之间可能需要额外的步骤，例如删除重复项和其他值 -
喜欢'1 1' or '1 5' and '5 1'

rdd.reduce(lambda x,y: (x+ " " + y)).collect()

返回类似

的东西

'1 5 7 8'

如何分解它是我正在努力解决的问题。

或者，我应该在 rdd 上使用 foreach 函数并将元素和 rdd 传递给函数并通过循环遍历所有元素来返回对吗？

这只是示例数据，实际数据很多，所以我怀疑循环遍历所有元素是否是个好主意！ :(

非常感谢我应该去的任何帮助或方向。

或者数据框在处理这些事情时会更好吗？

Answer 1

您可以使用cartesian 转换来组合值：

rdd = sc.parallelize(['1','5','7','8'])

#Filtered out tuples with same values as you don't have it 
# in your example
set2 = rdd.cartesian(rdd).filter(lambda l: l[0] != l[1])

print(set2.map(lambda l: '%s %s' % l).collect());

set3 也可以这样做：

#filtering out tuples of values fewer than 3 distinct
#values using a set...
values3 = rdd.cartesian(set2)\
  .filter(lambda l: len(set([l[0], l[1][0], l[1][1]])) == 3 )\
  .map(lambda l: '%s %s %s' % (l[0], l[1][0], l[1][1])).collect()

第一个输出是：

['1 5', '1 7', '1 8', '5 1', '5 7', '5 8', '7 1', '7 5', '7 8', '8 1', '8 5', '8 7']

values3 包含：

['1 5 7', '1 5 8', '1 7 5', '1 7 8', '1 8 5', '1 8 7', '5 1 7', '5 1 8', 
'5 7 1', '5 7 8', '5 8 1', '5 8 7', '7 1 5', '7 1 8', '7 5 1', '7 5 8', 
'7 8 1', '7 8 5', '8 1 5', '8 1 7', '8 5 1', '8 5 7', '8 7 1', '8 7 5']