使用 scikit-learn 对文本文档进行分类时的交叉验证

Question

在使用 scikit-learn 对文本文档进行分类时，您是先进行交叉验证然后进行特征提取还是其他方式？

这是我的管道：

union = FeatureUnion(
transformer_list = [
 ('tfidf', TfidfVectorizer()),
 ('featureEx', FeatureExtractor()),
 ('spell_chker', Spellingchecker()),
 ], n_jobs = -1)

我正在按照以下方式进行操作，但我想知道是否应该先提取特征并进行交叉验证。在此示例中，X 是文档列表，y 是标签。

X_train, X_test, y_train, y_test = train_test_split(X,y,test_size= 0.2)

X_train = union.fit_transform(X_train)
X_test = union.transform(X_test)

ch2 = SelectKBest(f_classif, k = 7000)
X_train = ch2.fit_transform(X_train, y_train)
X_test  = ch2.transform(X_test)

clf = SVC(C=1, gamma=0.001, kernel = 'linear', probability=True).fit(
X_train , y_train)

print("classification report:")
y_true, y_pred = y_test, clf.predict(X_test)
print(classification_report(y_true, y_pred))
print()

Answer 1

进行特征选择然后对这些特征进行交叉验证有时在文本数据中很常见，但不太理想。这可能会导致过度拟合，并且交叉验证过程可能会高估您的真实准确度。

当您首先进行特征选择时，该特征选择过程必须查看所有数据。交叉验证的重点是向其他人隐藏 1 折。通过首先执行 FS，您会将一些数据知识泄漏到其他折叠处。