pyspark 数据框比较以根据关键字段查找列差异

Question

我必须使用 pyspark 比较两个数据帧以找出基于一个或多个关键字段的列差异，这是一种性能效率最高的方法，因为我必须处理巨大的数据帧

我已经构建了一个解决方案，用于使用哈希匹配比较两个数据帧，而无需像 data_compare.df_subtract(self.df_db1_hash,self.df_db2_hash) 这样的关键字段匹配 但是如果我想使用关键字段匹配，情况就不同了

注意：我提供了示例预期数据框。实际要求是任何列中与 DataFrame 2 的任何差异都应在输出/预期数据框中检索。

DataFrame 1:

+------+---------+--------+----------+-------+--------+
|emp_id| emp_city|emp_name| emp_phone|emp_sal|emp_site|
+------+---------+--------+----------+-------+--------+
|     3|  Chennai|  rahman|9848022330|  45000|SanRamon|
|     1|Hyderabad|     ram|9848022338|  50000|      SF|
|     2|Hyderabad|   robin|9848022339|  40000|      LA|
|     4|  sanjose|   romin|9848022331|  45123|SanRamon|
+------+---------+--------+----------+-------+--------+

DataFrame 2:

+------+---------+--------+----------+-------+--------+
|emp_id| emp_city|emp_name| emp_phone|emp_sal|emp_site|
+------+---------+--------+----------+-------+--------+
|     3|  Chennai|  rahman|9848022330|  45000|SanRamon|
|     1|Hyderabad|     ram|9848022338|  50000|      SF|
|     2|Hyderabad|   robin|9848022339|  40000|      LA|
|     4| sandiego|  romino|9848022331|  45123|SanRamon|
+------+---------+--------+----------+-------+--------+

Expected dataframe after comparing dataframe 1 and 2


+------+---------+--------+----------+
|emp_id| emp_city|emp_name| emp_phone|
+------+---------+--------+----------+
|     4| sandiego|  romino|9848022331|
+------+---------+--------+----------+

Answer 1

subract 函数是您正在寻找的，它将检查每一行的所有列值，并为您提供一个与其他数据框不同的数据框。

df2.subtract(df1).select("emp_id","emp_city","emp_name","emp_phone")

正如 api 文档所说

返回一个新的 :class:DataFrame 包含此框架中的行，但不包含另一个框架。
这相当于 SQL 中的EXCEPT。