sklearn SVD fit_transform 函数的输入数据类型

【问题标题】：Input data type for sklearn SVD fit_transform functionsklearn SVD fit_transform 函数的输入数据类型
【发布时间】：2016-09-08 14:47:25
【问题描述】：

我已经处理了 CSV 文件中的文档数据，我在 pandas DataFrame 中读取：

+----------+------+------------+
| document | term | count      |
+----------+------+------------+
| 1        | 126  | 1          |
| 1        | 80   | 1          |
| 1        | 1221 | 2          |
| 2        | 2332 | 1          |

所以它由document_id、term和term频率组成。

我没有原始文档，只有这个处理过的数据，我想用 sklearn 应用 SVD，但我不知道如何为 SVD fit_transform() 准备这个 DataFrame，它期望：

X : {array-like, sparse matrix}, shape (n_samples, n_features)

【问题讨论】：

标签： python scikit-learn nlp svd dimensionality-reduction

【解决方案1】：

您可以将此 CSV 转换为 libsvm 格式：

<label> <index1>:<value1> <index2>:<value2> ...
.
.
.

因此，您的示例数据将如下所示：

0 80:1 126:1 1221:2
0 2332:1

然后使用sklearn.datasets.load_svmlight_file读取这个文件

from sklearn.datasets import load_svmlight_file
X, y = load_svmlight_file('your_libsvm_format_file.libsvm')

那么，

from sklearn.decomposition import SVD
svd = SVD()
X_transformed = svd.fit_transform(X)

【讨论】：