is.na 和 sparklyr 的分位数答案

【问题标题】：is.na and quantile with sparklyris.na 和 sparklyr 的分位数
【发布时间】：2017-03-17 10:26:11
【问题描述】：

我正在使用sparklyr，它似乎运行良好。但是，我以前的一些代码不会实现。

什么时候使用

complete.cases

我明白了

错误：org.apache.spark.sql.AnalysisException：未定义函数完整的案例

quantile 函数得到相同的结果

此外，在 Spark 数据帧中，is.na 的计算方式似乎不同。所以当我这样做时

filter(!is.na(V1) & is.na(V2))

我得到一个空数据框，而不是返回 V1 中已满且 V2 中为空的所有字段。

有什么建议可以为sparklyr 使用/修改这些函数，或者如何构造这些函数的包装器？

【问题讨论】：

也许你想要filter(!is.na(V1) & !is.na(V2))？ ! 将优先于 &，因为你有它，给出 V1 不丢失和 V2 丢失的行。

【解决方案1】：

您可以使用na.omit，如：

sc <- spark_connect(master = "local")
tbl_flights <- copy_to(sc, flights)

tbl_flights %>% na.omit

【讨论】：