使用 SVM 对命名实体进行特征选择答案

【问题标题】：Feature selection for Named entity using SVM使用 SVM 对命名实体进行特征选择
【发布时间】：2015-01-27 20:47:20
【问题描述】：

我有一些用户 cmets 数据，我想从中找到消费电子品牌的名称。例如，考虑这些谈论“PS4”、“nokia 720 lumia”、“apple ipad”、“sony bravia”的 ne_chinked 例句：-

In [52]: nltk.ne_chunk(nltk.pos_tag(nltk.word_tokenize('When is the PS4 releasing')))
Out[52]: Tree('S', [('When', 'WRB'), ('is', 'VBZ'), ('the', 'DT'), Tree('ORGANIZATION', [('PS4', 'NNP')]), ('releasing', 'NN')])

In [53]: nltk.ne_chunk(nltk.pos_tag(nltk.word_tokenize('I couldnt find the nokia 720 lumia in stores')))
Out[53]: Tree('S', [('I', 'PRP'), ('couldnt', 'VBP'), ('find', 'JJ'), ('the', 'DT'), ('nokia', 'NN'), ('720', 'CD'), ('lumia', 'NN'), ('in', 'IN'), ('stores', 'NNS')])

In [54]: nltk.ne_chunk(nltk.pos_tag(nltk.word_tokenize('I just bought apple ipad and its really awesome')))
Out[54]: Tree('S', [('I', 'PRP'), ('just', 'RB'), ('bought', 'VBD'), ('apple', 'JJ'), ('ipad', 'NN'), ('and', 'CC'), ('its', 'PRP$'), ('really', 'RB'), ('awesome', 'JJ')])

In [55]: nltk.ne_chunk(nltk.pos_tag(nltk.word_tokenize('I would like to buy 1 Sony bravia led television')))
Out[55]: Tree('S', [('I', 'PRP'), ('would', 'MD'), ('like', 'VB'), ('to', 'TO'), ('buy', 'VB'), ('1', 'CD'), ('Sony', 'NNP'), ('bravia', 'IN'), ('led', 'VBN'), ('television', 'NN')])

问题是我如何表示数据以供 svm 学习。我阅读了数十篇研究论文，但没有一篇披露它们如何将特征数据表示给 svm。有人可以帮忙吗

【问题讨论】：

标签： python nltk svm named-entity-recognition

【解决方案1】：

我要做的是将您关心的电子品牌的所有条目添加到一个列表中，然后为了使每个条目是唯一的，我将使用其条目在列表中的索引作为特征。

例如 [“诺基亚”、“苹果”、“微软”]

然后：诺基亚 => 1 微软 => 2 等

这有助于为每个品牌提供独特的代表，因此我认为这是 SVM 的一项功能。

【讨论】：