【发布时间】：2017-01-18 03:47:34
【问题描述】：
如果我从大多数文档为负数（例如约 95%）的标记数据集训练情感分类器，是否应该使用相同分布的负数 cmets 训练分类器？如果不是，那么“标准化”数据集的其他选项是什么？
【问题讨论】：
标签： nlp nltk sentiment-analysis
【发布时间】：2017-01-18 03:47:34
【问题描述】：
你没有说你有什么类型的分类器，但一般来说你不必标准化训练集的分布。但是，通常数据越多越好，但您应该始终进行盲测以防止过度拟合。
在您的情况下，您将拥有一个用于负 cmets 的强分类器，除非您的样本量非常大，否则您将拥有一个较弱的正分类器。如果您的样本量足够大，那么这并不重要，因为您可能会开始过度拟合负面数据。
简而言之，如果不了解实际算法、数据集的大小以及数据集中的多样性，就无法确定。
最好的办法是（随机地）分割出 10% 的训练数据，然后看看分类器在 90% 的子集上训练后的表现。
【讨论】：
-
所以核心问题真的是“哪些分类器算法适用于强schewed数据，在95%/5%的范围内？”。您能否在回答中解决这个问题？至少在 nltk 提供的算法中（朴素贝叶斯、最大熵、感知器等）