分类：推文情感分析 - 步骤顺序

Question

我目前正在进行推文情绪分析，并且对正确的步骤顺序有一些疑问。请假设数据已经进行了相应的预处理和准备。所以这就是我将如何进行：

1. 使用train_test_split（80:20 比例）保留测试 数据集。
2. 矢量化x_train，因为推文不是数字。

在接下来的步骤中，我想确定最佳分类器。请假设那些已经导入。所以我会继续：

1. 超参数化（网格搜索），包括交叉验证方法。 在这一步中，我想确定每个参数的最佳参数 分类器。 KNN的代码如下：

model = KNeighborsClassifier()
n_neighbors = range(1, 10, 2)
weights = ['uniform', 'distance']
metric = ['euclidean', 'manhattan', 'minkowski']

# define grid search
grid = dict(n_neighbors=n_neighbors, weights=weights ,metric=metric)
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
grid_search = GridSearchCV(estimator=model, param_grid=grid, n_jobs=-1, cv=cv, scoring='accuracy',error_score=0)
grid_result = grid_search.fit(train_tf, y_train)

# summarize results
print("Best: %f using %s" % (grid_result.best_score_, grid_result.best_params_))
means = grid_result.cv_results_['mean_test_score']
stds = grid_result.cv_results_['std_test_score']
params = grid_result.cv_results_['params']
for mean, stdev, param in zip(means, stds, params):
    print("%f (%f) with: %r" % (mean, stdev, param))

4. 比较分类器的准确度（取决于最佳超参数）
5. 选择最佳分类器
6. 获取保留的测试数据集（来自train_test_split()）并在测试数据上使用最佳分类器

这是正确的方法还是您会建议更改某些内容（例如，单独进行交叉验证而不是在超参数化中）？将测试数据作为最后一步进行测试是否有意义，还是我应该提前进行以评估未知数据集的准确性？

Answer 1

有很多方法可以做到这一点，人们对此有强烈的看法，我并不总是相信他们完全理解他们所倡导的。

TL;DR：您的方法看起来很棒，而且您提出了一些明智的问题。

话虽如此，这里有一些事情需要考虑：

1. 为什么要进行训练测试拆分验证？
2. 为什么要进行超参数调优？
3. 为什么要进行交叉验证？

是的，这些技术中的每一个都擅长做特定的事情；但这并不一定意味着它们都应该属于同一管道。

首先，让我们回答这些问题：

1. Train-Test Split 可用于测试分类器的推理能力。换句话说，我们想知道分类器总体上的表现如何（而不是在我们用于训练的数据上）。测试部分允许我们在不使用训练部分的情况下评估分类器。

2. 超参数调整可用于评估超参数对分类器性能的影响。为了使其有意义，我们必须比较两个（或更多）模型（使用不同的超参数），但最好使用相同的训练部分进行训练（以消除选择偏差）。一旦我们知道了性能最好的超参数，我们该怎么办？这组超参数是否总是表现最佳？不。你会看到，由于分类的随机性，一个超参数集可能在实验 A 中效果最好，然后另一组超参数在实验 B 中效果最好。相反，超参数调整有助于概括何时使用哪些超参数构建分类器。

3. 交叉验证用于消除与构建分类器相关的一些随机随机性。因此，机器学习管道可以生成一个分类器，使用 1 个测试折叠的准确度为 94%，使用另一个测试折叠的准确度为 83%。这是什么意思？这可能意味着 1 fold 包含简单的样本。或者这可能意味着分类器，无论出于何种原因，实际上更好。你不知道，因为它是一个黑匣子。

实用，这有什么帮助？

我认为使用测试训练拆分和交叉验证没有什么价值。我使用交叉验证并将准确性报告为 n 倍的平均值。它已经在测试我的分类器的性能。我不明白为什么进一步划分您的训练数据以进行另一轮训练测试验证会有所帮助。使用平均值。话虽如此，我使用在交叉验证期间创建的 n 折模型中性能最好的模型作为我的最终模型。正如我所说，它是黑盒，因此我们无法知道哪种模型最好，但在其他条件相同的情况下，您不妨使用性能最好的模型。它实际上可能更好。

超参数调优很有用，但进行大量调优可能需要很长时间。我建议在您的管道中添加超参数调整，但只测试 2 组超参数。因此，保持所有超参数不变，除了 1。例如批量大小 = {64, 128}。运行它，您将可以自信地说：“哦，这有很大的不同：64 比 128 效果更好！”或者“好吧，那是浪费时间。这两种方式都没有太大区别。”如果差异很小，请忽略该超参数并尝试另一对。这样一来，您就可以慢慢走向最佳状态，而不会浪费所有时间。

在实践中，我会说将广泛的超参数调整留给学术界，并采取更务实的方法。

但是，是的，您的方法看起来不错。我认为您正在考虑自己在做什么，这已经使您领先一步。