从 big.matrix 中删除只有一个值的列答案

【问题标题】：Removing columns from big.matrix which have only one value从 big.matrix 中删除只有一个值的列
【发布时间】：2018-04-21 19:02:11
【问题描述】：

我有一个非常大的二进制矩阵，存储为 big.matrix 以节省内存（否则超过 2 GB - 500 万列和 100 行）。

r <- 100
c <- 10000
m4 <- matrix(sample(0:1,r*c, replace=TRUE),r,c)
m4 <- cbind(m4, 1)
m4 <- as.big.matrix(m4)

我需要删除只有一个唯一值的每一列（在这种情况下，只有 0 或只有 1）。由于列的数量，我希望能够并行执行此操作。

如何在将数据压缩为 big.matrix 的同时做到这一点？我可以将其转换为 df 并遍历列以查找唯一值的数量，但这会占用太多 RAM。

谢谢！

【问题讨论】：

这样的可以吗？ m5 <- m4[, !(colSums(m4) %in% c(0, nrow(m4)))]
很遗憾没有。首先，它仅在 m4 属于 matrix 类而不是问题中指定的 big.matrix 时才有效。此外，输出也是matrix 类，占用太多内存。
啊，好的，抱歉。如何将子集包装在as.big.matrix 中，或者使用`sub.big.matrix 对大矩阵的子集应用子集操作？我猜你可能已经考虑过这些选项了？
使用 Rcpp 创建一个算法，根据您的标准返回您想要保留的列索引。这应该很容易，因为您已经知道如何在 Rcpp 中访问 big.matrix 的元素。然后，使用deepcopy。

标签： r r-bigmemory

【解决方案1】：

将其放入 .cpp 文件并使用 Rcpp::sourceCpp 获取源代码：

// [[Rcpp::depends(BH, bigmemory)]]
#include <bigmemory/MatrixAccessor.hpp>
#include <Rcpp.h>
using namespace Rcpp;

// [[Rcpp::export]]
LogicalVector to_keep(SEXP bm_addr) {

  XPtr<BigMatrix> xptr(bm_addr);
  MatrixAccessor<double> macc(*xptr);

  size_t n = macc.nrow();
  size_t m = macc.ncol();

  double first_val;

  LogicalVector keep(m, false);

  for (size_t j = 0; j < m; j++) {
    first_val = macc[j][0];
    for (size_t i = 1; i < n; i++) {
      if (macc[j][i] != first_val) {
        keep[j] = true;
        break;
      }
    }
  }

  return keep;
}

/*** R
library(bigmemory)
r <- 100
c <- 10000
m4 <- matrix(sample(0:1,r*c, replace=TRUE),r,c)
m4 <- cbind(m4, 1)
m4 <- as.big.matrix(m4)
m4[, 1] <- 1
m4[, 2] <- 0

keep <- to_keep(m4@address)
m4.keep <- deepcopy(m4, cols = which(keep))
*/

【讨论】：