使用多个 CPU，我可以使用哪些包来计算线性模型？ [关闭]

Question

我正在进行的项目的一部分是确定residuals。我正在执行此操作linear models。
不幸的是，我发现的软件包要么不符合要求，要么出现故障。

---

我已尝试在我的项目中使用以下软件包。

1. lm - R 中的标准线性建模函数
   + 专业人士 -- 无
   - cons -- 使用标准统计库，单核，无法处理内存不足计算
2. fastLm - RcppArmadillo package 的一部分
   + pro's -- 多核
   - 缺点 -- 无法处理内存不足的计算。
3. biglm - biglm package 的一部分
   + pro's -- 特别设计用于通过将数据拆分成块来处理内存不足的计算
   - 缺点 -- 单核
4. speedlm - speedglm package 的一部分
   + pro's -- 多核，应该能够通过将数据分成块来处理内存不足的计算

我个人在使用speedlm 时遇到了一些问题，否则这将是首选包：

• 当列包含 non-numeric data 时，updateWithMoreData 似乎失败了
• 缺点 -- 没有默认方法来检索the residuals.

---

在谷歌搜索没有成功后，我使用以下代码试图找到新的包，尝试不同的关键字，但我似乎根本找不到任何合适的包。

find <- findFn("linear model lm", sortby="function", maxPages = 10)
format(find)

---

除了我上面提到的之外，还有没有满足以下要求的线性模型包：

• 能够使用多个 CPU 计算线性模型
• 能够拆分数据集和update 具有数据集块的线性模型
• 获取拟合值

Answer 1

线性模型的典型估计程序，例如R 用于 lm 的内容涉及QR decomposition，它出现（在大多数 BLAS 中；有关更多详细信息，请参见下文）本质上是一个顺序过程，因此绑定到单个内核。

其他方法可能是多核的，但可能无法实现您的真正目标 - 更快的计算。我会注意两个。

1. 您可以探索alternate BLASes for R。但是，正如其中所述，“多线程 BLAS 库对使用 R 的实际分析问题没有显着影响”。例如，REvolution 确实提供了 R 的修改版本，该版本在拟合某些线性模型时使用多个内核......并且在涉及向量运算的部分操作上确实可能会更快一些。请参阅one of their pages talking about the speed advantage of using a multicore BLAS 上的 cmets 并自行评估。最终，证明将在布丁中 - 用你的实际问题尝试它，看看它是否能给你想要的东西（尽管我从现有的 cmets 中收集到它没有）。
2. 您可以使用搜索词stochastic gradient decent 查看结果。如果有足够的资源，该方法可能能够为您提供一个能带来速度优势的多核解决方案。

顺便说一句，您在快速审查时认可为多核的两种方法在我看来并不是真正的多核。一般来说，将数据分成块很容易，我可能又错了，但我认为你不能并行处理这些块并重新组合模型......也就是说......除非你愿意做一些一般性的事情（在这种情况下，你拒绝的方法也会起作用）。

如果您愿意有点不精确，您可能会做的一般事情是：

1. 将数据拆分为样本
2. 分别并行运行样本
3. 收集您的回归系数并将平均系数用作实际系数
4. 计算您的预测
5. 计算你的残差

...但这并不能再次解决您的 RAM 问题-我怀疑您是否会发现足够的速度优势以使其值得您花时间。

另见：

• How can I use multi cores processing to run glm function faster