存储火花数据框-pyspark

Question

我有一个带有列（年龄）的 spark 数据框。我需要编写一个 pyspark 脚本来将数据框存储为 10 岁的范围（例如 11-20 岁、21-30 岁、...）并找到每个年龄跨度条目的计数。需要有关如何操作的指导熬过这个

例如：

我有以下数据框

+-----+
|age  |  
+-----+
|   21|      
|   23|     
|   35|     
|   39|    
+-----+

分桶后（预期）

+-----+------+
|age  | count|
+-----+------+
|21-30|    2 |    
|31-40|    2 |      
+-----+------+

Answer 1

运行此类计算的一种简单方法是计算底层 RDD 的直方图。

鉴于已知的年龄范围（幸运的是，这很容易组合在一起 - 这里使用 1、11、21 等），生成直方图相当容易：

hist = df.rdd\
  .map(lambda l: l['age'])\
  .histogram([1, 11, 21,31,41,51,61,71,81,91])

这将返回一个包含“年龄范围”及其各自观察计数的元组，如下所示：

([1, 11, 21, 31, 41, 51, 61, 71, 81, 91],
  [10, 10, 10, 10, 10, 10, 10, 10, 11])

然后您可以使用以下方法将其转换回数据框：

#Use zip to link age_ranges to their counts
countTuples = zip(hist[0], hist[1])
#make a list from that
ageList = list(map(lambda l: Row(age_range=l[0], count=l[1]), countTuples))
sc.parallelize(ageList).toDF()

有关更多信息，请查看the RDD API 中的histogram 函数文档