特征选择文本挖掘答案

【问题标题】：Feature Selection Text Mining特征选择文本挖掘
【发布时间】：2014-01-11 13:05:07
【问题描述】：

我们正在完成一项关于文本分类的任务，并且我们使用了一种无监督机器学习模型。

在我们进行文本聚类之前，数据集必须经过几个步骤，例如从停用词中清除它，从文本中提取词干词，然后获取特征选择。

阅读特征选择，我可以应用多种方法进行特征选择，例如信息增益、基尼指数和互信息。

我想知道这些方法的性质以及如何在编码部分实现它们，是否有任何库可以用来执行这些任务。

【问题讨论】：

您使用的是哪个数据集？
您是如何对 .sgm 文件（路透社数据集）执行 Perprocessing 的？
我用的是斯坦福图书馆。
ok 输出是 .arff 格式（我的意思是 filename.arff）？
是的，它的。我如何进行特征选择。

标签： java nlp weka text-mining feature-selection

【解决方案1】：

您不应该选择功能。

文本遵循幂律，因此您不会跳过“不常用的单词”或未使用的功能。信息隐藏在分布的尾部，而不是最常用的词中。

如果您确实想为计算效率绑定维度（路透社被认为对于文本来说很小），您应该部署基于散列的方法。

我想你会选择一些标准的 TF-IDF 特征表示并将单词视为特征。

【讨论】：

使用 TF-IDF 进行特征选择会不会保留这些信息并丢弃最常用但识别能力很小的词？

【解决方案2】：

使用特征选择可以帮助文本分类，具体取决于应用程序领域。在主题（基于主题的类别）中，例如经济、政治、体育等，词干提取、停止列表和选择单词和单词 n-gram 通常效果很好。在其他问题中，例如垃圾邮件检测，在表示中使用停用词可以提高准确性。

问题是：文本的风格在应用领域重要吗？如果是，您应该保留停用词并避免词干提取，但您始终可以使用例如执行特征选择。那些信息增益得分最高的特征。

您可以通过 StringToWordVector 过滤器在 WEKA 中执行停止列表和词干提取。您可以使用 WEKA 使用 AttributeSelection 过滤器进行特征选择，搜索方法 Ranker 和评估指标 InfoGainAttributeEval。在我的 Text Mining with WEKA 页面上获取更多详细信息（对于 SSP 感到抱歉）。

【讨论】：

【解决方案3】：

首先我们要生成arff文件。

arff文件格式如下：

@RELATION section 将包含 预处理 后出现在整个文档中的所有单词。每个单词都是 real 类型，因为 tfidf 值是一个真实值。

@data section 将包含它们在 预处理期间计算的 tfidf 值。例如，first 将包含第一个文档中存在的所有单词的 tfidf 值以及文档的最后一列类别。

@RELATION filename
@ATTRIBUTE word1 real
@ATTRIBUTE word2 real
@ATTRIBUTE word3 real
.
.
.
.so on
@ATTRIBUTE class {cacm,cisi,cran,med}

@data
0.5545479562,0.27,0.554544479562,0.4479562,cacm
0.5545479562,0.27,0.554544479562,0.4479562,cacm
0.55454479562,0.1619617,0.579562,0.5542,cisi
0.5545479562,0.27,0.554544479562,0.4479562,cisi
0.0,0.2396113617,0.44479562,0.2,cran
0.5545479562,0.27,0.554544479562,0.4479562,carn
0.5545177444479562,0.26196113617,0.0,0.0,med
0.5545479562,0.27,0.554544479562,0.4479562,med

生成此文件后，您可以将此文件作为输入提供给InfoGainAttributeEval.java。这对我有用。

【讨论】：