获取 Apache Spark Dataframe (Scala) 中列的最大值

Question

我正在尝试获取列中的最大值，并编写了以下代码。

val max = df.withColumn("max", lit(df.agg(max($"id")).as[Int].first))

不幸的是，当我运行它时，我收到以下错误：

error: recursive value max needs type
val max = df.withColumn("max", lit(df.agg(max($"id")).as[Int].first))

我真的不明白错误告诉我什么，我找不到有关此功能的任何好的文档。我写错了吗？或者也许有更好的方法来做到这一点？我一直在尝试获得具体的例子，但似乎没有什么对我有用。

Answer 1

在您的代码中，spark max 被误认为是 scala max，所以我只是指定 max 来自 spark。

这将为您提供 id 列的最大值作为整数值：

%scala
import org.apache.spark.sql.functions.col

val max = df.agg(org.apache.spark.sql.functions.max(col("id"))).collect()(0)(0).asInstanceOf[Int]

Output: max: Int = 6

或

如果要创建列来存储 id 的最大值：

%scala
import org.apache.spark.sql.functions._
df.withColumn("max", lit(df.agg(org.apache.spark.sql.functions.max($"id")).as[Int].first))