如何用中位数填充 NA？

Question

示例数据：

set.seed(1)
df <- data.frame(years=sort(rep(2005:2010, 12)), 
                 months=1:12, 
                 value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA))

head(df)
  years months      value
1  2005      1 -0.6264538
2  2005      2  0.1836433
3  2005      3 -0.8356286
4  2005      4  1.5952808
5  2005      5  0.3295078
6  2005      6 -0.8204684

请告诉我，我如何将 df$value 中的 NA 替换为其他月份的中位数？ “value”必须包含同一月份所有先前值的中值。也就是说，如果当前月份是 5 月，“值”必须包含 5 月份所有先前值的中值。

Answer 1

dplyr 还有另一种方法可以做到这一点。

如果你想用它们的中位数替换所有列，请执行以下操作：

library(dplyr)
df %>% 
   mutate_all(~ifelse(is.na(.), median(., na.rm = TRUE), .))

如果要替换列的子集（例如 OP 示例中的“值”），请执行以下操作：

df %>% 
  mutate_at(vars(value), ~ifelse(is.na(.), median(., na.rm = TRUE), .))

Answer 2

或者用 ave

df <- data.frame(years=sort(rep(2005:2010, 12)),
months=1:12,
value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA))
df$value[is.na(df$value)] <- with(df, ave(value, months, 
   FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)]

---

既然有这么多答案，让我们看看哪个最快。

plyr2 <- function(df){
  medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE))
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)]
  df
}
library(plyr)
library(data.table)
DT <- data.table(df)
setkey(DT, months)


benchmark(ave = df$value[is.na(df$value)] <- 
  with(df, ave(value, months, 
               FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)],
          tapply = df$value[61:72] <- 
            with(df, tapply(value, months, median, na.rm=TRUE)),
          sapply = df[61:72, 3] <- sapply(split(df[1:60, 3], df[1:60, 2]), median),
          plyr = ddply(df, .(months), transform, 
                       value=ifelse(is.na(value), median(value, na.rm=TRUE), value)),
          plyr2 = plyr2(df),
          data.table = DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months],
          order = "elapsed")
        test replications elapsed relative user.self sys.self user.child sys.child
3     sapply          100   0.209 1.000000     0.196    0.000          0         0
1        ave          100   0.260 1.244019     0.244    0.000          0         0
6 data.table          100   0.271 1.296651     0.264    0.000          0         0
2     tapply          100   0.271 1.296651     0.256    0.000          0         0
5      plyr2          100   1.675 8.014354     1.612    0.004          0         0
4       plyr          100   2.075 9.928230     2.004    0.000          0         0

我敢打赌 data.table 是最快的。

[ Matthew Dowle ] 这里定时的任务最多需要 0.02 秒 (2.075/100)。 data.table 认为这无关紧要。尝试将 replications 设置为 1 并增加数据大小。或者计时 3 次运行中最快的时间也是一个常见的经验法则。这些链接中更详细的讨论：

• Evidence that data.table isn't always fastest
• 基准在Averaging column values for specific sections of data corresponding to other column values
• London R presentation, June 2012（幻灯片 21 标题为“其他”）
• A transform by group benchmark in an extreme case

Answer 3

坚持使用base R，你还可以尝试以下方法：

medians = sapply(split(df[1:60, 3], df[1:60, 2]), median)
df[61:72, 3] = medians

Answer 4

这是使用plyr的一种方式，它不是很漂亮，但我认为它可以满足您的需求：

library("plyr")

# Make a separate dataframe with month as first column and median as second:
medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE))

# Replace `NA` values in `df$value` with medians from the second data frame
# match() here ensures that the medians are entered in the correct elements.
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)]

Answer 5

这是我能想到的最强大的解决方案。它可确保正确排序年份，并在您有多个年份缺少值的情况下正确计算所有前几个月的中位数。

# first, reshape your data so it is years by months:
library(reshape2)
tmp <- dcast(years ~ months, data=df)  # convert data to years x months
tmp <- tmp[order(tmp$years),]          # order years
# now calculate the running median on each month
library(caTools)
# function to replace NA with rolling median
tmpfun <- function(x) {
  ifelse(is.na(x), runquantile(x, k=length(x), probs=0.5, align="right"), x)
}
# apply tmpfun to each column and convert back to data.frame
tmpmed <- as.data.frame(lapply(tmp, tmpfun))
# reshape back to long and convert 'months' back to integer
res <- melt(tmpmed, "years", variable.name="months")
res$months <- as.integer(gsub("^X","",res$months))

Answer 6

你想使用测试is.na函数：

df$value[is.na(df$value)] <- median(df$value, na.rm=TRUE)

对于df$value 为NA 的所有值，将其替换为右侧。您需要 na.rm=TRUE 块，否则 median 函数将返回 NA

按月做这个，有很多选择，但我认为plyr的语法最简单：

library(plyr)
ddply(df, 
      .(months), 
      transform, 
      value=ifelse(is.na(value), median(value, na.rm=TRUE), value))

您也可以使用data.table。如果您的数据很大，这是一个特别好的选择：

library(data.table)
DT <- data.table(df)
setkey(DT, months)

DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months]

还有很多其他的方法，但有两种！