PySpark 数据帧上的自定义聚合 [重复]

Question

我有一个 PySpark DataFrame，其中一列作为一个热编码向量。我想在 groupby 之后通过向量加法来聚合不同的一个热编码向量

例如df[userid,action] Row1: ["1234","[1,0,0]] Row2: ["1234", [0 1 0]]

我希望输出为行：["1234", [ 1 1 0]]，因此该向量是由userid 分组的所有向量的总和。

我怎样才能做到这一点？ PySpark sum 聚合操作不支持向量加法。

Answer 1

您有多种选择：

1. 创建用户定义的聚合函数。问题是您需要write the user defined aggregate function in scala 和wrap it to use in python。
2. 您可以使用 collect_list 函数将所有值收集到一个列表中，然后编写一个 UDF 来组合它们。
3. 您可以移动到 RDD 并使用聚合或按键聚合。

选项 2 和 3 的效率都相对较低（同时消耗 CPU 和内存）。