【发布时间】:2016-06-29 14:39:14
【问题描述】:
我有一个 PySpark DataFrame,其中包含以下内容
Row(id='id1', type='A', status='H', keywords=['k1', 'k2', 'k3'])
状态是一个二元选项('S'/'H')。 我需要做的是计算每个类型、id 和状态的每个关键字在状态 S 中出现的比率。 比例将是
s/(s+h)
其中 s 和 h 是出现的地方。 因此,例如,如果关键字 k1 在类型 A 中出现的次数是 S 的 2 次,是 H 的 3 次,我希望在该类型中为它的 2/3 和我的最终输出理想情况下是
Row(id='id1', type='A', keyword='k1', ratio=0.66)
我认为这必须经过几个步骤,我很乐意计算 S 和 H 中的出现次数,然后创建进一步的列来对两者进行比值。
但是,在我通过“id”、“type”和“status”运行 groupBy 之后,我将如何计算上述出现次数?有没有办法使用自定义函数运行 agg?
【问题讨论】:
标签: python sql dataframe pyspark