随机梯度下降设计矩阵对于 R 来说太大了答案

【问题标题】：Stochastic Gradient Descent design matrix too big for R随机梯度下降设计矩阵对于 R 来说太大了
【发布时间】：2016-12-07 01:19:51
【问题描述】：

我正在尝试使用通过随机梯度下降学习的参数来实现电影评分的基线预测模型（类似于 NetFlix 奖的各种基线模型）。但是，因为两个解释变量都是分类变量（用户和电影），所以设计矩阵非常大，无法放入我的 RAM。

我认为 sgd 包会自动找到解决此问题的方法（因为它是为大量数据设计的），但事实并非如此。

有人知道解决这个问题的方法吗？也许是一种将设计矩阵构建为稀疏矩阵的方法。

干杯，

【问题讨论】：

标签： r machine-learning gradient-descent

【解决方案1】：

您可以尝试使用Matrix::sparseMatrix 创建一个三元组，以更有效的方式描述矩阵。您还可以尝试在 Amazon EC2 上导出您的问题并使用具有更多 RAM 的实例或配置集群以创建映射的缩减作业。查看 xgboost 包 https://github.com/dmlc/xgboost 及其文档，了解如何处理内存问题。

这也是比较实用的教程：https://cran.r-project.org/web/packages/xgboost/vignettes/discoverYourData.html

【讨论】：

非常感谢，xgboost 教程真的很有帮助！