是什么导致 R 在处理大型数据集时崩溃？ [关闭]

Question

问题：

我有多个交易数据数据集，用于预测事件（作为结果的二进制分类）。其中之一有 10,587,989 行 23 列。我正在尝试使用 10 倍 cv 和 ctree (package:party) 运行 gradient boosting，但每次运行这些模型时，我的系统都会崩溃。

硬件：

16 核、48 gig RAM、48 gig SWAP

问题：

是什么导致 R 在处理大型数据集时崩溃，即使在使用并行处理、添加更多内存、弹跳系统之后？

我尝试过的事情：

• 通过doParallel启用并行处理，执行xgBoost 通过caret，我看到每个核心都亮起，RAM 和交换正在 通过 linux 中的top 函数充分利用但最终 每次都崩溃。

• 退回 RStudio 服务器，重新启动系统作为初始 机动但问题仍然存在。

我确实发现有人评论 H2O。我还联系了供应商并询问了他的解决方案，他建议使用 Sparkly，但您需要在服务器中安装 Hadoop 层才能运行 Sparkly。

Answer 1

我确实发现有人评论 H2O。我还联系了供应商并询问了他的解决方案，他建议使用 Sparkly，但您需要在服务器中安装 Hadoop 层才能运行 Sparkly。

您的供应商弄错了； sparklyr / RSparkling 不需要 Hadoop 层，只需 Spark。

但是，您也可以跳过 Spark 层并直接使用 H2O。这是最好的选择，根据我的经验，我认为您的硬件足以在 10M 行上训练 H2O GBM。这是一个H2O R tutorial，它显示了如何对 GBM 执行网格搜索。启动 H2O 时，只需确保从默认的 4G 增加内存即可：

h2o.init(max_mem_size = "48G")

H2O 还支持XGBoost，这是另一种 GBM 实现，所以这是另一种选择。