检查两个 pyspark 行是否相等

【问题标题】：Check if two pyspark Rows are equal检查两个 pyspark 行是否相等
【发布时间】：2018-03-27 17:54:49
【问题描述】：

我正在为 Spark 作业编写单元测试，其中一些输出被命名为元组：pyspark.sql.Row

我怎样才能断言他们的平等？

actual = get_data(df)
expected = Row(total=4, unique_ids=2)
self.assertEqual(actual, expected)

当我这样做时，这些值会以我无法确定的顺序重新排列。

【问题讨论】：

【解决方案1】：

根据docs:

，您的代码应该按照编写的方式工作

字段将按名称排序。

不过，另一种方法是使用pySpark.sql.Row 的asDict() 方法并将它们作为字典进行比较：

actual = get_data(df)
expected = Row(total=4, unique_ids=2)
self.assertEqual(actual.asDict(), expected.asDict())

【讨论】：