PySpark：合并两个数据框

Question

我有两个数据框，DF1 和 DF2，它们具有相同的列名

假设 DF1 的格式如下，

Item Id	item	model	price
1	item 1	22	100
2	item 2	33	300
3	item 3	44	400
4	item 4	55	500

DF2 包含以下格式

Item Id	item	model	price
1	item 1	222	1000
1	item 1	2222	10000
2	item 2	333	3000
3	item 3	444	4000
4	item 4	555	5000

我需要合并两个数据框，结果应该是这样的：

Item Id	item	model	price
1	item 1	22	100
1	item 1	222	1000
1	item 1	2222	10000
2	item 2	33	300
2	item 2	333	3000
3	item 3	44	400
3	item 3	444	4000
4	item 4	55	500
4	item 4	555	5000

我只需要使用 pyspark 而不是 pandas。感谢您的帮助。

Answer 1

你可以在这里使用联合

df1.union(df2)

或更具体

df1.select("Item Id","item","model","price").union(df2.select("Item Id","item","model","price"))

您可以选择订购您的结果

df1.union(df2).orderBy("Item Id","item","model","price")

让我知道这是否适合你。