【问题标题】:PySpark reduceByKey on multiple valuesPySpark reduceByKey 对多个值
【发布时间】:2015-06-14 16:02:49
【问题描述】:

如果我有这样的 K,V 对:

(K, (v1, v2))
(K, (v3, v4))

我怎样才能总结出我得到的值 (k, (v1 + v3, v2 + v4))?

【问题讨论】:

    标签: pyspark


    【解决方案1】:

    reduceByKey 支持函数。假设 A 是键值对的数组。

    output = A.reduceByKey(lambda x, y: x[0]+y[0], x[1]+y[1])
    

    【讨论】:

    • 或许应该是output = A.reduceByKey(lambda x, y: (x[0]+y[0], x[1]+y[1]))
    猜你喜欢
    • 2016-06-05
    • 1970-01-01
    • 2018-08-07
    • 2017-05-17
    • 2018-06-27
    • 2021-10-26
    • 1970-01-01
    • 1970-01-01
    • 2015-07-02
    相关资源
    最近更新 更多