Pyspark：将数据框值添加到指定列中的每个不同值答案

【问题标题】：Pyspark: adding dataframe values to each distinct value in a specified columnPyspark：将数据框值添加到指定列中的每个不同值
【发布时间】：2019-07-01 10:37:42
【问题描述】：

我需要将数据框值添加到指定列中的每个不同值

例如

df1:

+----+----+
|col1|col2|
+----+----+
|   A| 100|
|   B|  70|
|   C|  50|
+----+----+

df2:

+----+----+
|col3|col4|
+----+----+
|jose|   1|
|  li|   2|
| liz|   3|
+----+----+

生成的 df 应该如下所示：

+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
|   A| 100|jose|   1|
|   B|  70|jose|   1|
|   C|  50|jose|   1|
|   A| 100|  li|   2|
|   B|  70|  li|   2|
|   C|  50|  li|   2|
|   A| 100| liz|   3|
|   B|  70| liz|   3|
|   C|  50| liz|   3|
+----+----+----+----+

【问题讨论】：

标签： join merge pyspark concat

【解决方案1】：

您实际上是在要求crossJoin -

df = df1.crossJoin(df2)
df.show()
+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
|   A| 100|jose|   1|
|   A| 100|  li|   2|
|   A| 100| liz|   3|
|   B|  70|jose|   1|
|   B|  70|  li|   2|
|   B|  70| liz|   3|
|   C|  50|jose|   1|
|   C|  50|  li|   2|
|   C|  50| liz|   3|
+----+----+----+----+

【讨论】：