如何在 sparkr 中使用 avg、max 等统计函数答案

【问题标题】：how to use statistics functions like avg, max and so on in sparkr如何在 sparkr 中使用 avg、max 等统计函数
【发布时间】：2016-12-27 14:31:40
【问题描述】：

我正在使用 SparkR。现在我在使用 avg、max 等统计函数时遇到了问题。首先，我读取了一个 json 文件，例如：

> a <- read.df(sqlContext, "/home/fengchen/mine/mydata/try.json", "json")

然后，a 是 spark 中的数据帧，而不是普通的 R 数据帧。我正在尝试来自https://spark.apache.org/docs/1.5.1/api/R/ 的一些函数但是当我使用像avg、max、min 这样的函数时，我什么也没得到。在 RStudio 上，它显示如下：

> avg(aa$pipelat)
Column avg(pipelat)

那么，我怎样才能显示或知道函数的价值呢？顺便说一句，参数为数据框的函数可以正常工作，例如 agg.我只是不知道如何处理参数为列的函数。

【问题讨论】：

【解决方案1】：

刚刚收到。以下格式有效。

head(selectExpr(df,"max(laidyear)","min(type)"))

【讨论】：

【解决方案2】：

head() 仅返回结果 DataFrame 的第一行。
rdf <- collect(sdf)
将分布式 Spark DataFrame 转换为可以显示的本地 R data.frame。

因此，对于您第二篇文章中的示例： collect(selectExpr(df,"max(laidyear)","min(type)")) ... 将返回所有laidyear 值的结果，而不仅仅是前6 行。

【讨论】：