分类中的可变重要性答案

【问题标题】：Variable importance in classification分类中的可变重要性
【发布时间】：2015-06-04 13:52:59
【问题描述】：

例如：我有 100 本书，每本书 1000 字。他们属于不同的类别（喜剧，戏剧，...）。每个班级由 15 种不同的书籍组成。当我对我的数据执行 tfidf 时，我会在所有书籍的上下文中了解一本书中每个单词的重要性。我看到属于同一类的书籍对于每个变量都有相似的 tfidf 值。

假设戏剧和喜剧非常相似。我怎么知道哪些词在这两个类之间有所不同？属于喜剧的书我要改什么词，所以现在这本书属于戏剧了？

我可以一一检查；但我有2000本书，每本17500字； 950节课。这将需要十年:)

【问题讨论】：

【解决方案1】：

作为初稿，计算每个类的平均向量，将它们归一化为单位长度，并计算绝对差。

这些应该可以让您大致了解哪些词可以区分这两个类别。

【讨论】：

【解决方案2】：

我肯定会运行成对测试，即您拥有的 475*949 对类中的每一对都有一个，因为“重要变量”可能因情况而异。然后运行一些标准的特征选择算法，例如卡方或信息增益。请参阅http://www.jmlr.org/papers/volume3/forman03a/forman03a.pdf 进行深入研究。

【讨论】：

我还有一个问题，拜托。那么，如果我已经为每个功能设置了 tfidf 值，我可以只参加两门课程（喜剧和戏剧），然后只做卡方或随机森林吗？ Tfidf 已经为我提供了每个元素的总体重要性。