PySpark DataFrame 上的求和操作在类型正常时给出 TypeError

Question

我在 PySpark 中有这样的 DataFrame（这是 take(3) 的结果，dataframe 很大）：

sc = SparkContext()
df = [Row(owner=u'u1', a_d=0.1), Row(owner=u'u2', a_d=0.0), Row(owner=u'u1', a_d=0.3)]

同一个所有者会有更多的行。我需要做的是在分组后将每个所有者的字段 a_d 的值相加为

b = df.groupBy('owner').agg(sum('a_d').alias('a_d_sum'))

但这会引发错误

TypeError: +: 'int' 和 'str' 的操作数类型不受支持

但是，架构包含双精度值，而不是字符串（这来自 printSchema()）：

root
|-- owner: string (nullable = true)
|-- a_d: double (nullable = true)

那么这里发生了什么？

Answer 1

您使用的不是正确的 sum 函数，而是 built-in 函数 sum（默认情况下）。

所以build-in 函数不起作用的原因是 那就是它需要一个可迭代的参数作为参数，这里传递的列的名称是一个字符串，built-in 函数不能应用于字符串。 Ref. Python Official Documentation.

您需要从pyspark.sql.functions 导入正确的函数：

from pyspark.sql import Row
from pyspark.sql.functions import sum as _sum

df = sqlContext.createDataFrame(
    [Row(owner=u'u1', a_d=0.1), Row(owner=u'u2', a_d=0.0), Row(owner=u'u1', a_d=0.3)]
)

df2 = df.groupBy('owner').agg(_sum('a_d').alias('a_d_sum'))
df2.show()

# +-----+-------+
# |owner|a_d_sum|
# +-----+-------+
# |   u1|    0.4|
# |   u2|    0.0|
# +-----+-------+