在 spark Dataframe 中应用 groupBy 后过滤列的百分比

Question

Spark Dataframe 包含一个包含 2 列的表： 状态，类别。

Status has values----'y' and 'n'
Category has values -'a', 'b' and 'c'

如何在 spark (Scala) 中找到每个类别中状态“y”的百分比？ 我能够做到这一点。

df.groupBy("category").agg(count("*"))
df.filter(col("status")==="y").groupBy("category").count()

之后组合任何东西都会给我错误

Answer 1

GroupBy 和 aggregation 应该足以找到每个 Category 的每个 Status 的 count。 Window 函数可用于查找每个Category 的总sum。最后你可以通过filter找出必要的Status来进行计算。

import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions.Window

def windowSpec = Window.partitionBy("Category")
val tempdf = df.groupBy("Status", "Category").agg(count("Category").as("ind_count"))
                .withColumn("tot_count", sum("ind_count").over(windowSpec))

  tempdf.filter($"Status" === "y").select($"Status", $"Category", (($"ind_count"/$"tot_count")*100).as("y_percentage")).show(false)

希望回答对你有帮助

Answer 2

val dfN = df.filter(col("status").equalTo("y"))

val dfSum = dfN.groupBy("category").agg(count("status").as("Sum"))
val numSum = num.first()(0).toString.toInt

val dfResult = dfSum.select(col("category"), lit(col("Sum") * 100 / numSum).as("percentage"))