Pyspark 计数包括空值

Question

运行一个简单的例子 -

dept = [("Finance",10),("Marketing",None),("Sales",30),("IT",40)]
deptColumns = ["dept_name","dept_id"]
rdd = sc.parallelize(dept)
df = rdd.toDF(deptColumns)
df.show(truncate=False)

print('count the dept_id, should be 3')
print('count: ' + str(df.select(F.col("dept_id")).count()))

我们得到以下输出 -

+---------+-------+
|dept_name|dept_id|
+---------+-------+
|Finance  |10     |
|Marketing|null   |
|Sales    |30     |
|IT       |40     |
+---------+-------+

count the dept_id, should be 3
count: 4

我在数据块上运行，这是我的堆栈 - Spark 3.0.1 Scala 2.12，DBR 7.3 LTS

感谢您的帮助！！

Answer 1

Dataframe API 的 count 函数和 Spark SQL 的 count 函数之间存在细微差别。第一个只计算行数，而第二个可以忽略 null 值。

您正在使用Dataframe.count()。根据文档，此功能

返回此 DataFrame 中的行数

所以结果 4 是正确的，因为数据框中有 4 行。

如果应该忽略 null 值，您可以使用可以忽略 null 值的Spark SQL function count：

count(expr[, expr...]) - 返回提供的表达式都是非空的行数。

例如

df.selectExpr("count(dept_id)").show()

返回3。

Answer 2

@werner 的另一个替代解决方案是使用 pyspark.sql.functions

from pyspark.sql import functions as F

print('count: ' + str(df.select(F.count(F.col("dept_id"))).collect()))

Answer 3

您的代码不完整。也许你可以在 count() 之前添加 'isNotNull()'

我的代码是这样的：

from pyspark.sql.functions import col, count

print('count the dept_id, should be 3')
print('count: ' + str(df.filter(col("dept_id").isNotNull()).count()))