【问题标题】:PySpark: custom function in aggregation on grouped dataPySpark:分组数据聚合中的自定义函数
【发布时间】:2016-06-29 14:39:14
【问题描述】:

我有一个 PySpark DataFrame,其中包含以下内容

Row(id='id1', type='A', status='H', keywords=['k1', 'k2', 'k3'])

状态是一个二元选项('S'/'H')。 我需要做的是计算每个类型、id 和状态的每个关键字在状态 S 中出现的比率。 比例将是

s/(s+h)

其中 s 和 h 是出现的地方。 因此,例如,如果关键字 k1 在类型 A 中出现的次数是 S 的 2 次,是 H 的 3 次,我希望在该类型中为它的 2/3 和我的最终输出理想情况下是

Row(id='id1', type='A', keyword='k1', ratio=0.66)

我认为这必须经过几个步骤,我很乐意计算 S 和 H 中的出现次数,然后创建进一步的列来对两者进行比值。

但是,在我通过“id”、“type”和“status”运行 groupBy 之后,我将如何计算上述出现次数?有没有办法使用自定义函数运行 agg?

【问题讨论】:

    标签: python sql dataframe pyspark


    【解决方案1】:

    这样的事情应该可以解决问题:

    from pyspark.sql.functions import explode, avg, col
    
    ratio = avg(
        # If status "S" then 1.0 else 0.0
        (col("status") == "S").cast("double")
     ).alias("ratio")
    
    (df
        .withColumn("keyword", explode("keywords"))
        .groupBy("id", "type", "keyword")
        .agg(ratio))
    

    【讨论】:

      猜你喜欢
      • 2017-04-22
      • 2021-06-06
      • 1970-01-01
      • 1970-01-01
      • 2016-10-12
      • 1970-01-01
      • 2019-11-05
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多