【问题标题】:How to use PoS tag as a feature for training data by Naive Bayes classifier?如何使用 PoS 标签作为朴素贝叶斯分类器训练数据的特征?
【发布时间】:2015-09-14 11:08:46
【问题描述】:
我正在研究如何为我的论文从文档中提取关键词。
在我的研究中,我使用朴素贝叶斯分类器机器学习来创建候选术语特征的训练模型。 PoS 标记是其中一项功能,我认为此功能对于指定术语是否为关键短语很重要。
但是朴素贝叶斯(NB)分类器的输入是数字,PoS标签是字符串。
所以我不知道如何将PoS标签特征表示为一个数字,以便成为NB分类器的输入特征。
请帮我提供你的建议。
感谢和问候,
轩辕
【问题讨论】:
标签:
text-extraction
pos-tagger
information-extraction
naivebayes
【解决方案1】:
您可以将 POS 标签视为一个单词。然后您可以使用 POS unigram、bigram 或 trigram 作为特征。
例子:
他们/PRP 拒绝/VBP 到/TO 许可/VB 我们/PRB 到/TO 获得/VB/DT 拒绝/NN 许可/NN。
如果您将 POS trigram 作为特征。您可以构建具有以下特征的向量。
Feature Value
(PRP,VBP,TO) 1
(VBP,TO,VB) 1
(TO,VB,PRB) 1
等等。
您还可以将 tf-idf 值用于 POS 功能。