大型稀疏矩阵，带火花的 svd，python

Question

我想在 spark 上分析数据。如果 python 不起作用，我需要 svd 矩阵来使用 python 或 scala 实现推荐算法。但数据又大又稀疏。

数据中有两列。一个是用户名，另一个是项目名称。 如果用户和项目在一行中，则表示用户喜欢该项目。 有 700k 个项目和 20k 个用户。所以它会出现内存错误。

如何处理

Answer 1

我建议你在 scipy csr matrix 下加载数据。

存储稀疏矩阵比使用 numpy 高效得多。

最好的。