使用 summarise_all() 查找 sparklyr 数据的中位数答案

【问题标题】：Using summarize_all() to find median on sparklyr data使用 summarise_all() 查找 sparklyr 数据的中位数
【发布时间】：2020-12-21 16:18:32
【问题描述】：

我正在尝试获取我使用 sparklyr 提取的 r 中数据的汇总统计信息，包括平均值和中位数。我可以通过在 dplyr::summarize() 步骤中手动输入所有内容来获取我的所有统计信息，但我想知道是否有办法使用 summarise_all() 语句来做到这一点。

手动尝试有效：

test<-data%>%
    dplyr::summarize(count=n(),
                     mean_c1=mean(column1,na.rm=TRUE),
                     mean_c2=mean(column2,na.rm=TRUE),
                     median_c1=percentile(column1,.5),
                     median_c2=percentile(column2,.5))

Summarize_all() 尝试无需调用中位数的百分位即可。这让我的数据计数、平均值、最小值、最大值（vars 是列名的向量）

test<-data%>%
    select(vars)%>%
    dplyr::summarize_all(list(count=~n(),mean=mean, min=min,max=max))

但是当我尝试将中位数添加到混合中时出现错误 - 它不再识别 percentile 命令，它是 Hive 函数，而不是 r/dplyr 函数。（“继承错误（x，“fun_list”）：找不到对象“百分位”）

test<-data%>%
    select(vars)%>%
    dplyr::summarize_all(list(count=~n(),mean=mean, min=min,max=max,median=percentile),probs=.5)

我尝试使用分位数而不是百分位数（这就是我对数据框执行此操作的方式），但是当我调用“测试”表时它会出错。

是否可以使用 summarise_all() 命令在 r 中获取 spark 表的中值？还是我必须更多地手动操作？

【问题讨论】：

标签： r dplyr median sparklyr

【解决方案1】：

您是否已经结婚使用summarize 来执行此操作？因为你已经在使用 tidyverse 并且包 psych 附带，所以你可以这样做

data %>% 
  select(vars) %>%
  psych::describe()

并获得相同的结果，或多或少。

【讨论】：

我没有和summarize_all()结婚。我尝试了 psych::describe() 并遇到错误。看起来 describe 函数需要一个 data.frame 或矩阵？我有 spark 表，我认为它不能与 describe 函数一起使用，除非我遗漏了什么？

【解决方案2】：

胶水包解决了我的问题。

library(rlang)
library(glue)

vars<-tbl_vars(data)
eq3<-glue("percentile({vars},.5)")%>%
    setNames(paste0(vars,"_median"))%>%
    lapply(parse_quosure)
test<-data%>%
    dplyr::summarize(!!!eq3)

【讨论】：