pyspark 生成唯一值的所有组合

Question

我正在尝试在我的 spark 数据框中生成唯一值的所有组合。 我想到的解决方案需要使用 itertools.product 和 pandas 数据框，因此效率不够。 这是我的代码：

all_date = [ i.Date for i in df.select("Date").distinct().collect()]
all_stores_id = [i.ID for i in fd.select("ID").distinct().collect()]
all_category = [i.CATEGORY for i in fd.select("CATEGORY").distinct().collect()]
combined = [all_date, all_stores_id, all_category]
all_combination_pdf= pd.DataFrame(columns = ['Date', 'ID', 'CATEGORY'], data=list(itertools.product(*combined)))
# convert pandas dataframe to spark
all_combination_df = sqlContext.createDataFrame(all_combination_pdf)
joined =  all_combination_df.join(df,["Date","ID","CATEGORY"],how="left")

有什么办法可以将此代码更改为更活泼的代码吗？

======编辑======

我也尝试使用 crossJoin 函数来实现这些功能。 下面是代码：

test_df = ((df.select('Date').distinct()).crossJoin(df.select('ID').distinct())).crossJoin(df.select('CATEGORY').distinct())
test_df.show(10)

由于某种未知原因引发以下异常：

An error occurred while calling o305.showString.
: java.lang.OutOfMemoryError: GC overhead limit exceeded
    at java.lang.Integer.valueOf(Integer.java:832)

Answer 1

您可以使用它生成数据框。它只是使用每列的唯一值创建一个数据框，并与其他列执行交叉连接（笛卡尔积）。

((df.select('Date').distinct()).crossJoin(df.select('ID').distinct())).crossJoin(df.select('CATEGORY').distinct())

它可以放在一个 for 循环中，通过一些工作来为其他数据帧自动化它。

希望对你有帮助