大矩阵：当 dim(X) = 100,000:5000 时求解(crossprod(X))

Question

我需要对大型数据矩阵进行简单的两阶段最小二乘回归。这只需要一些crossprod() 和solve() 命令，但矩阵的尺寸为100,000 x 5000 矩阵。我的理解是，在内存中保存这样的矩阵会占用不到 4GB 的内存。不幸的是，我的 64 位 Win7 机器只有 8GB 的​​ RAM。当我尝试操作有问题的矩阵时，我收到通常的“无法分配大小向量”消息。

我考虑了许多选项，例如 ff 和 bigmemory 包。但是，我需要的矩阵运算的基本 R 函数只支持通常的矩阵对象类型，而不是 bigmatrix 类型。

似乎可以从biglm()扩展代码，但是我的这个项目的时间很紧，所以我想和大家一起检查一下是否有现成的此类问题的解决方案。抱歉，如果这个问题之前已经解决（我找不到）或者问题太笼统。

Answer 1

是的，biglm 中存在一个现成的解决方案，您已经确定了这个包。线性回归可以与更新方案一起使用；该基本属性在包中实现。

将您的数据转储到磁盘，例如 SQLite 并研究包文档并继续进行，例如，10,000 个块。