打印数据集摘要的内存有效方法

Question

我有一个具有以下结构的数据集：

require(data.table)
train <- data.table(sample(1:10, 10), runif(10, 0, 10))

但是，数据集的内存约为 7.5 GB，行数约为 6.3 亿。尝试summary(train) 会产生错误：Error: cannot allocate vector of size 2.3 Gb。我可以通过手动调用train[, mean(V2)]、train[, min(V2)]和train[, max(V2)]来提取一些信息，但是中位数和分位数会导致OOM。是否有可能在 16GB RAM 的机器上进行这些操作？ 一个想法是拆分数据集，但这对于中位数和分位数来说有点麻烦

Answer 1

所以我想出了函数summaryI，我们提供了我们感兴趣的列名：

summaryI <- function(i2) {
  setorderv(train, i2)
  N <- train[, .N]

  # count NAs:
  # nas <- is.na(train[[i2]])
  # nNA <- sum(nas)
  # OR
  i <- 1L
  nNA <- 0L
  while (is.na(train[[i2]][i])) {
    nNA <- nNA + 1L
    i <- i + 1L
  }
  nNA
  # will be slow if many NAs, but more memory efficient
  # (will not create additional vector)

  n <- N - nNA
  probs <- seq(0, 1, 0.25)
  # quantiles, only type = 7
  index <- 1 + (n - 1) * probs
  lo <- floor(index)
  hi <- ceiling(index)
  qs <- train[[i2]][lo + nNA]
  i <- which(index > lo)
  h <- (index - lo)[i]
  qs[i] <- (1 - h) * qs[i] + h * train[[i2]][hi[i] + nNA]
  qs # quantile results

  rmean <- sum(train[[i2]], na.rm = T) / n

  qq <- c(qs[1L:3L], rmean, qs[4L:5L])
  digits <- max(3L, getOption("digits") - 3L)
  qq <- signif(qq, digits)
  names(qq) <- c("Min.", "1st Qu.", "Median", "Mean", "3rd Qu.", "Max.")
  if (nNA > 0L) { # to match summary output
    c(qq, `NA's` = nNA)
    } else {
      qq
    }
} 

基本思想是我们将感兴趣的列排序（使用data.table 中的setorder），然后尝试在不复制数据的情况下进行所有计算。

如 cmets 中所述，如果您的数据有很多 NA，那么这会很慢。 但希望您能够在所有数据上运行。另外，我在 NA 管理中进行了硬编码。

例子：

summaryI('V2')
# Min.   1st Qu.    Median      Mean   3rd Qu.      Max.      NA's 
# 2.398e-08 2.501e-01 5.000e-01 5.000e-01 7.500e-01 1.000e+00 1.000e+02 

或运行多个列，例如：

sapply(colnames(train), summaryI)

可以找到我作为基础的summary和quantile的源代码：

github quantile.R

github summary.R