Scikit LogisticRegression 中的情绪预测错误

Question

from sklearn.feature_extraction.text import CountVectorizer

vectorizer = CountVectorizer()

train_matrix = vectorizer.fit_transform(train_data['review'])

test_matrix = vectorizer.fit_transform(test_data['review'])

训练 LogisticRegressor

from sklearn.linear_model import LogisticRegression

sentiment_model = LogisticRegression()

sentiment_model = sentiment_model.fit(train_matrix,train_data['sentiment'])

检查样本数据

sample_test_data = test_data[10:13]

sample_test_matrix = vectorizer.fit_transform(sample_test_data['review'])

predict = sentiment_model.predict(sample_test_matrix)

错误：

X 每个样本有 85 个特征；期待 121676

ValueErrorTraceback（最后一次调用）

在 ()

----> 1 预测 = model.predict(sample_test_matrix)

~\Anaconda3\lib\site-packages\sklearn\linear_model\base.py in predict(self, X)

            Predicted class label per sample.

---------> 分数 = self.decision_function(X)

       if len(scores.shape) == 1:

         indices = (scores > 0).astype(np.int)

decision_function(self, X)

      if X.shape[1] != n_features:

          raise ValueError("X has %d features per sample; expecting %d"
        ------------>   % (X.shape[1], n_features))

    scores = safe_sparse_dot(X, self.coef_.T,

ValueError: X 每个样本有 85 个特征；期待 121676

Answer 1

我相信您遇到的问题是由于在您的测试集上使用了fit_transform() 方法而不仅仅是transform() 方法。 CountVectorizer() fit method 学习“原始文档中所有标记的词汇词典”。

这意味着当您在训练集上调用 fit_transform() 时，它将生成一个稀疏矩阵，其特征数等于它在您提供的文本中找到的不同单词标记作为输入。当您再次在测试集上调用fit_transform() 时，它会生成一个不同的稀疏矩阵，其维度基于测试集中的唯一词，而不是使用在训练数据上生成的原始矩阵。

然后您将 LogisticRegression 对象拟合到您的训练数据中，但是当您尝试在测试数据上使用 predict() 时，它会抱怨输入大小与您在训练时传入的大小不同，因为它有一个不同数量的功能。

编辑：当您调用以下命令时也会发生这种情况：

test_matrix = vectorizer.fit_transform(test_data['review'])

如果您计划将数据拆分为训练集和测试集，则应避免为 CountVectorizer 创建不同的拟合，因为生成的稀疏矩阵维度会导致您遇到的问题。

TL;DR：

尝试替换这些

test_matrix = vectorizer.fit_transform(test_data['review'])
sample_test_matrix = vectorizer.fit_transform(sample_test_data['review'])

这些

test_matrix = vectorizer.transform(test_data['review'])
sample_test_matrix = vectorizer.transform(sample_test_data['review'])