如何找到两个非常大的矩阵的点积以避免内存错误？

Question

我正在尝试使用 Kaggle 数据集来学习机器学习。在其中一个问题（使用逻辑回归）中，输入和参数矩阵的大小分别为 (1110001, 8) 和 (2122640, 8)。

我在 python 中执行此操作时出现内存错误。这对于我猜的任何语言都是一样的，因为它太大了。我的问题是他们如何在现实生活中的 ML 实现中乘以矩阵（因为它通常会这么大）？

困扰我的事情：

1. SO 中的一些人建议先计算部分的点积，然后再组合。但即便如此，矩阵对于 RAM 来说仍然太大（在这种情况下为 9.42TB？）

2. 如果我将它写入文件，优化算法从文件中读取并最小化函数会不会太慢？

3. 即使我确实将它写入文件，fmin_bfgs（或任何 opt. 函数）如何从文件中读取？

4. Kaggle 笔记本也显示只有 1GB 的可用存储空间。我认为没有人会允许 TB 的存储空间。

5. 在我的输入矩阵中，许多行的某些列具有相似的值。我可以利用它的优势来节省空间吗？ （就像矩阵中零的稀疏矩阵）

   任何人都可以向我指出此类案例的任何真实示例实现。谢谢！

Answer 1

我尝试了很多东西。我会在这里提到这些，如果将来有人需要它们：

• 我已经清理了数据，例如删除重复数据和 不相关的记录取决于给定的问题等。
• 我存储了大矩阵，其中大部分为 0 作为稀疏矩阵。
• 我使用 mini-batch 方法而不是普通的旧 Batch 方法 (theta.T dot X) 实现了梯度下降。

现在一切正常。