仅当每月少于 10 天是 NA 时，如何使用 dplyr 和 lubridate 每月汇总每日数据？答案

【问题标题】：How to monthly summarise daily data, using dplyr and lubridate, only if less than 10 days per month are NAs?仅当每月少于 10 天是 NA 时，如何使用 dplyr 和 lubridate 每月汇总每日数据？
【发布时间】：2021-12-13 03:46:27
【问题描述】：

我有 1955 年至 2017 年不同地点的每日气象数据（温度和降水），我想将每个变量汇总为月平均值，但前提是 每个月的 NA 数量小于10.

我以四个月的温度数据为例（第一个月：1 NA，第二个月（31 天）：30 NA，第三个月：0 NA，第 4 个月：所有数据为 NA）：

library(dplyr)
library(lubridate)    
exmpldf <- data.frame(DATE = c("1955-06-01", "1955-06-02", "1955-06-03", "1955-06-04", "1955-06-05", "1955-06-06", "1955-06-07", "1955-06-08", "1955-06-09", "1955-06-10", 
                                    "1955-06-11", "1955-06-12", "1955-06-13", "1955-06-14", "1955-06-15", "1955-06-16", "1955-06-17", "1955-06-18", "1955-06-19", "1955-06-20", 
                                    "1955-06-21", "1955-06-22", "1955-06-23", "1955-06-24", "1955-06-25", "1955-06-26", "1955-06-27", "1955-06-28", "1955-06-29", "1955-06-30", 
                                    "1955-07-01", "1955-07-02", "1955-07-03", "1955-07-04", "1955-07-05", "1955-07-06", "1955-07-07", "1955-07-08", "1955-07-09", "1955-07-10", 
                                    "1955-07-11", "1955-07-12", "1955-07-13", "1955-07-14", "1955-07-15", "1955-07-16", "1955-07-17", "1955-07-18", "1955-07-19", "1955-07-20", 
                                    "1955-07-21", "1955-07-22", "1955-07-23", "1955-07-24", "1955-07-25", "1955-07-26", "1955-07-27", "1955-07-28", "1955-07-29", "1955-07-30", 
                                    "1955-07-31", "1955-08-01", "1955-08-02", "1955-08-03", "1955-08-04", "1955-08-05", "1955-08-06", "1955-08-07", "1955-08-08", "1955-08-09", 
                                    "1955-08-10", "1955-08-11", "1955-08-12", "1955-08-13", "1955-08-14", "1955-08-15", "1955-08-16", "1955-08-17", "1955-08-18", "1955-08-19", 
                                    "1955-08-20", "1955-08-21", "1955-08-22", "1955-08-23", "1955-08-24", "1955-08-25", "1955-08-26", "1955-08-27", "1955-08-28", "1955-08-29", 
                                    "1955-08-30", "1955-08-31", "1955-09-01", "1955-09-02", "1955-09-03", "1955-09-04", "1955-09-05", "1955-09-06", "1955-09-07", "1955-09-08", 
                                    "1955-09-09", "1955-09-10", "1955-09-11", "1955-09-12", "1955-09-13", "1955-09-14", "1955-09-15", "1955-09-16", "1955-09-17", "1955-09-18", 
                                    "1955-09-19", "1955-09-20", "1955-09-21", "1955-09-22", "1955-09-23", "1955-09-24", "1955-09-25", "1955-09-26", "1955-09-27", "1955-09-28", 
                                    "1955-09-29", "1955-09-30"), 
                          TMAX = c(NA, 20, 27, 17,  26.5, 27, 17, 26.5, 20, 23, 23, 21.5, 24, 26.5, 27, 27, 26.5, 24.5, 23, 22.5, 24, 23, 21.5, 25, 26.5, 23, 
                           24, 23.5, 23, 23, 23, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, 
                           NA, 24, 22, 21, 17, 17, 17, 21.5, 22, 22, 22.5, 22.5, 16.5, 20.5, 17.5, 23, 17, 21, 21.5, 21, 21, 20, 22, 22, 22, 21.5, 21.5, 21.5, 22.5, 20, 
                           21, 20, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA))

对于每月汇总，我使用mutate 创建了“MONTH”列和“YEAR”列

exmpldf <- exmpldf %>%
  mutate(month(DATE), year(DATE))
names(exmpldf) <- c("DATE", "TMAX", "MONTH", "YEAR")

为了创建我使用 summarize 的月平均值：

exmpldfmeanMonth <- exmpldf %>%
  group_by(MONTH, YEAR) %>%
  summarise(TMAX = mean(TMAX))

问题是，在我的时间序列（1955-2017）中，有许多月份至少有 1 个每日数据作为 NA，而其他月份的所有或几乎所有每日数据都作为 NA，无论如何，月平均值是不适用：

> exmpldfmeanMonth
# A tibble: 4 x 3
# Groups:   MONTH [4]
  MONTH  YEAR  TMAX
  <dbl> <dbl> <dbl>
1     6  1955  NA   (1 day is NA)
2     7  1955  NA   (all days but 1, are NA)
3     8  1955  20.7 (no NAs)
4     9  1955  NA   (all days are NA)

您可以添加na.rm = T，但即使每月只有一个数据，它也会计算平均值：

exmpldfmeanMonth <- exmpldf %>%
  group_by(MONTH, YEAR) %>%
  summarise(TMAX = mean(TMAX, na.rm = T))

> exmpldfmeanMonth
# A tibble: 4 x 3
# Groups:   MONTH [4]
  MONTH  YEAR  TMAX
  <dbl> <dbl> <dbl>
1     6  1955  23.7  (1 day is NA)
2     7  1955  23    (all days but 1, are NA)
3     8  1955  20.7  (no NAs)
4     9  1955 NaN    (all days are NA)

所以我想生成一个条件，仅当每月有 10 个或更少的 NA 时才计算月平均值，否则应视为 NA：

> exmpldfmeanMonth
# A tibble: 4 x 3
# Groups:   MONTH [4]
  MONTH  YEAR  TMAX
  <dbl> <dbl> <dbl>
1     6  1955  23.7  (1 day is NA)
2     7  1955 NAN    (all days but 1, are NA)
3     8  1955  20.7  (no NAs)
4     9  1955 NaN    (all days are NA)

你能指导我如何解决这个问题吗？非常感谢您！

【问题讨论】：

感谢您的回答我编辑了我的问题以更好地解释我想要实现的目标。

标签： r dataframe dplyr time-series lubridate

【解决方案1】：

library(dplyr)
library(lubridate)

df %>% 
  mutate(month = month(DATE),
         year = year(DATE)) %>% 
  group_by(month, year) %>% 
  summarize(prcp = if (sum(is.na(TMAX)) <= 10) mean(TMAX, na.rm = T) else NA,
            .groups = "drop")

或者，当您summarize 时，您可以计算NA 的数量，然后添加mutate 语句以有条件地更改prcp：

df %>% 
  mutate(month = month(DATE),
         year = year(DATE)) %>% 
  group_by(month, year) %>% 
  summarize(prcp = mean(TMAX, na.rm = T),
            numna = sum(is.na(TMAX)), # count number of NA
            .groups = "drop") %>% 
  mutate(prcp = ifelse(numna > 10, NA, prcp)) %>% 
  select(-numna)

输出

在您显示的数据中，只有一个 month 和 year 组合，并且该分组有超过 10 个 NA：

  month  year prcp 
1     6  1955 NA

更新

鉴于您已使用新数据更新了 reprex，此解决方案仍然有效：

str(exmpldf)
'data.frame':   122 obs. of  2 variables:
 $ DATE: chr  "1955-06-01" "1955-06-02" "1955-06-03" "1955-06-04" ...
 $ TMAX: num  NA 20 27 17 26.5 27 17 26.5 20 23 ...

exmpldf %>% 
  mutate(month = month(DATE),
         year = year(DATE)) %>% 
  group_by(month, year) %>% 
  summarize(prcp = if (sum(is.na(TMAX)) <= 10) mean(TMAX, na.rm = T) else NA,
            .groups = "drop")

  month  year  prcp
  <dbl> <dbl> <dbl>
1     6  1955  23.7
2     7  1955  NA  
3     8  1955  20.7
4     9  1955  NA

【讨论】：

我尝试了您的解决方案，但结果是每个月都有 NA 值的 df，我编辑了我的问题以更好地解释我想要实现的目标
@Fulano_LeTal 我已经根据您的新数据添加了更新部分。它按预期执行。 NA 用于 7 月和 9 月，因为 NA 超过 10 个。因为少于 10 个NA，所以汇总了 6 月和 8 月的值。我没有发布输出，但是当我运行我发布的替代解决方案时，我得到了同样的结果。
非常感谢@LMc，自从你提出第一个建议后它就起作用了，我做错了什么。干杯！

【解决方案2】：

请根据您使用包data.table 和lubridate 的方法找到一种替代方案：

Reprex

代码

library(data.table)
library(lubridate)

setDT(df1)[, DATE := ymd(DATE)
           ][, `:=` (month = month(DATE), year = year(DATE))
             ][, .(PRCP = fifelse(sum(is.na(TMAX)) <= 10, mean(TMAX, na.rm = TRUE), NA_real_)), by = .(month, year)][]

案例 1：不适用

1.1 您的数据：

df1 <- data.frame(DATE = c("1955-06-01", "1955-06-02", "1955-06-03", "1955-06-04",
                           "1955-06-05", "1955-06-06", "1955-06-07", "1955-06-08",
                           "1955-06-09", "1955-06-10", "1955-06-11", "1955-06-12",
                           "1955-06-13", "1955-06-14", "1955-06-15", "1955-06-16"),
                  TMAX = c(NA, NA, NA, NA, NA, NA, NA, NA, 20, 23, 23, 21.5, 24, 26.5,
                           27, 27))

2.2 输出：

#>    month year PRCP
#> 1:     6 1955   24

案例 2：NA > 10

2.1 您的数据：

df1 <- data.frame(DATE = c("1955-06-01", "1955-06-02", "1955-06-03", "1955-06-04",
                           "1955-06-05", "1955-06-06", "1955-06-07", "1955-06-08",
                           "1955-06-09", "1955-06-10", "1955-06-11", "1955-06-12",
                           "1955-06-13", "1955-06-14", "1955-06-15", "1955-06-16"),
                  TMAX = c(NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, NA, 21.5, 24, 26.5,
                           27, 27))

2.2 输出：

#>    month year PRCP
#> 1:     6 1955   NA

^{由reprex package (v0.3.0) 于 2021 年 10 月 28 日创建}

【讨论】：

我尝试了您的解决方案，但结果是每个月都有 NA 值的 df，我编辑了我的问题以更好地解释我想要实现的目标
你好@Fulano_LeTal。我不太明白出了什么问题：当我根据您刚刚在您的问题中更新的数据（即exmpldf）运行我向您提出的代码时，我得到了您想要的结果（即我得到了完全相同的@987654330 @您在问题的末尾显示了第 6 个月和第 8 个月的计算平均值 - 具有相同的值，即 23.7 和 20.7 到最接近的四舍五入 - 和 NA 第 7 个月和第 9 个月）。干杯。
为了完整起见，如果你想让平均值四舍五入到小数点后一位，只需将第三行代码修改为以下代码：round(mean(TMAX, na.rm = TRUE),1), NA_real_))，而不是：mean(TMAX, na.rm = TRUE), NA_real_))
你说得对，你的建议符合我的要求，非常感谢！干杯
很高兴能为您提供帮助。我祝你工作顺利。干杯。

【解决方案3】：

考虑创建一个帮助功能，您可以根据需要对其进行自定义。此外，您可以指定是否要使用 mean、sum 或任何其他聚合。

agg_data<- function(x, n=10, f = 'avg'){
#' @param x a vector of values
#' @param n a minimum number of observations
#' @param f which function to apply (e.g. `avg`, `sum`)
  
  # return NA if there are more than 10 NA
  if( sum(is.na(x)) > n ) return( NA_real_ )
  
  x <- dplyr::case_when(
    f %in% 'avg' ~ mean(x, na.rm = TRUE),
    f %in% 'sum' ~ sum(x, na.rm = TRUE),
    TRUE ~ NA_real_
  )
  
  return( x )
}

然后你可以在你的summarise脚本中使用这个函数，例如

exmpldf %>% 
  mutate(month = month(DATE),
         year = year(DATE)) %>% 
  group_by(month, year) %>% 
  summarise(prcp = agg_data(TMAX, n = 10, f = 'avg'),
            .groups = "drop")

【讨论】：