有什么方法可以让 SciKit-Learn 使用硬盘吗？答案

【问题标题】：Is there any way to get SciKit-Learn to use the hard drive?有什么方法可以让 SciKit-Learn 使用硬盘吗？
【发布时间】：2019-02-26 01:07:00
【问题描述】：

总的来说，我对 scikit-learn 和机器学习非常陌生。我有一个包含 140,565 行和 17 列的数据集。我正在使用运行随机森林模型的其他人的代码，在具有 2.7GHz 处理器、4GB RAM、Windows 10 的机器上。

显然 4GB RAM 是不够的，我无法升级这个系统（超极本）。它里面有一个SSD。有没有办法将 scikit 配置为使用硬盘驱动器而不是 RAM（以牺牲速度为代价获得更多空间）？

【问题讨论】：

【解决方案1】：

您仍然需要内存，据我所知从磁盘读取和写入对于 sklearn ML 任务是不可能的（您需要尝试其他软件），您可以尝试使用下面列出的策略来适应内存，但受到限制可以实现哪些算法：Scaling with instances using out-of-core learning

在这种情况下，性能和结果会受到影响，批次大小也会影响结果。

注意：对于磁盘的读取和写入更适合 SAS 和 hadoop(map-reduce)，但 sklearn 需要 RAM。

【讨论】：