Pyspark：reduceByKey 多列但独立

Question

我的数据由多列组成，看起来像这样：

我想分别对每一列的数据进行分组并计算每个元素的出现次数，我可以这样做：

df.groupBy("Col-1").count() 

df.groupBy("Col-2").count()

df.groupBy("Col-n").count()

但是，如果有 1000 列，我会很耗时。所以我试图找到另一种方法：

目前我所做的事情：

def mapFxn1(x):
    vals=[1] * len(x)
    c=tuple(zip(list(x), vals))
    return c

df_map=df.rdd.map(lambda x: mapFxn1(x))

mapFxn1 获取每一行并将其转换为元组的元组：所以基本上第一行看起来像这样：((10, 1), (2, 1), (x, 1))

我只是想知道如何在 df_map 上使用 reduceByKey 和 lambda x,y: x + y 来实现对每一列的分组并在单个步骤中计算每一列中元素的出现次数。

提前谢谢你

Answer 1

cube:

df = spark.createDataFrame(
    [(3, 2), (2, 1), (3, 8), (3, 9), (4, 1)]
).toDF("col1", "col2")
df.createOrReplaceTempView("df")

spark.sql("""SELECT col1, col2, COUNT(*) 
             FROM df GROUP BY col1, col2 GROUPING SETS(col1, col2)"""
).show()

# +----+----+--------+
# |col1|col2|count(1)|
# +----+----+--------+
# |null|   9|       1|
# |   3|null|       3|
# |null|   1|       2|
# |null|   2|       1|
# |   2|null|       1|
# |null|   8|       1|
# |   4|null|       1|
# +----+----+--------+

与melt:

melt(df, [], df.columns).groupBy("variable", "value").count().show()

# +--------+-----+-----+
# |variable|value|count|
# +--------+-----+-----+
# |    col2|    8|    1|
# |    col1|    3|    3|
# |    col2|    2|    1|
# |    col1|    2|    1|
# |    col2|    9|    1|
# |    col1|    4|    1|
# |    col2|    1|    2|
# +--------+-----+-----+

与reduceByKey

from operator import add

counts = (df.rdd
   .flatMap(lambda x: x.asDict().items())
   .map(lambda x: (x, 1))
   .reduceByKey(add))

counts.toLocalIterator():
    print(x)
#     
# (('col1', 2), 1)
# (('col2', 8), 1)
# (('col2', 1), 2)
# (('col2', 9), 1)
# (('col1', 4), 1)
# (('col1', 3), 3)
# (('col2', 2), 1)