在 pyspark 数据框中查找多个分类列的基数答案

【问题标题】：Finding cardinality of multiple categorical columns in pyspark dataframe在 pyspark 数据框中查找多个分类列的基数
【发布时间】：2017-05-02 16:17:04
【问题描述】：

我有一个数据框中的分类列列表，我想找到每个列的基数。请指导我。我正在尝试这个

data.select(cat_columns).distinct().count()

但不知何故，这不起作用。谢谢

【问题讨论】：

data.select(cat_columns).distinct().count() 这给了我所有这些列的唯一行。
我试过cardinality=[]for col in cat_columns2:cardinality.append(data.select(col).distinct().count())但是很慢。我不认为它是分布式的。
已解决：stackoverflow.com/questions/40888946/…
Spark DataFrame: count distinct values of every column的可能重复

标签： python dataframe pyspark

【解决方案1】：

approx_count_distinct() 如果你想迭代一个大的数据框，应该在这里做这个技巧。

不过，考虑到它允许 rsd – 最大估计误差（默认 = 0.05）。对于 rsd

cols_cardinality = df_dataset.select(*[approx_count_distinct(c).alias(c) for c in df_dataset.columns])

【讨论】：