火花加入两个没有公共列的数据框

Question

需要在 pyspark 中加入两个数据框。 一个数据框df1 是这样的：

city  user_count_city  meeting_session
NYC    100             5
LA     200             10 
....

另一个数据框df2 是这样的：

total_user_count  total_meeting_sessions
1000               100

需要计算user_percentage 和meeting_session_percentage 所以我需要一个左连接，比如

df1 left join df2

这两个数据框没有公共密钥，我该如何加入它们？

看看这个帖子Joining two dataframes without a common column的解决方案 但这与我的情况不同。

预期结果

city user_count_city meeting_session total_user_count total_meeting_sessions
NYC    100             5                     1000     100
LA     200             10                    1000     100
....

Answer 1

您正在寻找交叉连接：

result = df1.crossJoin(df2)