用于文档分类的 NLP 技术？答案

【问题标题】：NLP techniques for document classification?用于文档分类的 NLP 技术？
【发布时间】：2015-12-21 11:40:17
【问题描述】：

我想知道是否有任何用于文档分类的 NLP 技术。我想知道来自词性标记的 n-gram 统计数据是否有用？我似乎无法在有关该主题的文献中找到太多内容..

有没有人发现任何增强文档分类工作的 nlp 技术？如果您知道有关此主题的任何调查，那就太棒了。

注意。我看到了this question，但我的语料库太大，唯一的解决方案不实用。

【问题讨论】：

我认为专注于词典会更有效率，特别是如果你有一个很大的语料库。 POS 序列会给您带来句法上的差异，但是以相同风格编写的文档应该具有相似的分布，并且您可能会选择作家的成语或方言，而不是文档主题。尝试看关键词提取、词条提取、命名实体识别；这些统计数据应该很有趣。或者你可以考虑把文件扔到LDA，这样你会得到一些快速的结果。
我同意词典很重要，但我正在寻找可以增强基于词典的方法的其他策略。

【解决方案1】：

引用：

但是我的语料库太大了，无法提供唯一的解决方案实用。

主题建模！

文档分类目前在我们的研究小组和其他 NLP 小组中是一个非常热门的话题。我们的主要关注点是概率主题建模。主题模型是一系列算法，旨在发现大型文档档案中隐藏的主题结构以进行分类。令人兴奋的是，创新、发明和一般改进的空间很大。有很多东西可以研究，例如集成、混合和其他统计技术。

Stanford Natural Language Processing Group 有一个免费的开源工具，用于制作主题模型原型，称为 Stanford Topic Modelling Toolbox。我建议你检查一下。

起点（也许？）

【讨论】：