在 Scikit 学习中拟合 TfidfVectorizer 和 KMeans 后如何进行预测？

Question

我有一个训练数据集，它位于 Pandas Dataframe 中。我已经完成了 TfIdf 矢量化以获取功能并运行 Kmeans。以下是相关代码：

vectorizer = TfidfVectorizer(max_df=0.8, max_features=max_feat, norm="l1", analyzer="word",
                                 min_df=0.1,ngram_range=(1,2)
                                 )

X = vectorizer.fit_transform(df['reviews'])
km = KMeans(n_clusters=number, init='k-means++', max_iter=100, n_init=3,
                    verbose=1, n_jobs = -2)
km.fit(X)

我可以通过这个得到质心：

order_centroids = km.cluster_centers_.argsort()[:, ::-1]

现在，当我尝试运行测试数据时出现错误。这是我为测试数据运行的代码。我基本上是从 Panda 的测试数据框中取出每一行，并放入上面的同一个矢量化器中。我做错了吗？

sample = df.tail(int(totalTestRows * lineLimit))

for row in sample.itertuples():
    test_data = np.array([row[6]])
    testVectorizerArray = vectorizer.transform(test_data).toarray()
    rowX = vectorizer.fit(testVectorizerArray)
    print(km.predict(rowX))

在rowX = vectorizer.fit(testVectorizerArray) 行，我收到以下错误：

AttributeError: 'numpy.ndarray' object has no attribute 'lower'

我通过 StackOverflow 进行了搜索，似乎我需要将 test_data 数组格式化为一维数组。我检查过，test_data 的格式为(n,)。但是，我仍然遇到错误。我的方法有什么问题吗？

Answer 1

您不应该在测试阶段重新调整矢量化器，如果您将矢量化器和分类器与管道相结合，您的代码会更简洁：

from sklearn.pipeline import make_pipeline
vectorizer = TfidfVectorizer(max_df=0.8, max_features=max_feat, norm="l1", analyzer="word",
                                 min_df=0.1,ngram_range=(1,2)
                                 )   
km = KMeans(n_clusters=number, init='k-means++', max_iter=100, n_init=3,
                    verbose=1, n_jobs = -2)
clf = make_pipeline(vectorizer, km)
clf.fit(X)


sample = df.tail(int(totalTestRows * lineLimit))

for row in sample.itertuples():
    test_data = np.array([row[6]])
    print(clf.predict(test_data))