使用 Spacy 或 NLTK 在文章中搜索职位答案

【问题标题】：Search for job titles in an article using Spacy or NLTK使用 Spacy 或 NLTK 在文章中搜索职位
【发布时间】：2016-12-30 18:27:06
【问题描述】：

我是 NLP 新手，最近在玩 NTLK 和 Spacy。但是，我找不到在文章中搜索职位（例如：产品经理、首席营销官等）的方法。

例如，我有 1000 篇文章，我想获取所有具有我感兴趣的职位的文章。

另外，职位属于什么实体类型？我检查了https://spacy.io/docs/usage/entity-recognition 并没有在那里看到它。我有计划添加它吗？

谢谢。

【问题讨论】：

是的，你提到的有限上下文中的职位是某种类型的 NE，但我相信你必须知道你在寻找什么词，或者你想要捕捉的特定特征跨度>
职位是一种NP POS标签，通常是与ORG相关的实体标签。基本上听起来你想要一个职位标签。您可能想尝试制作一个职位列表，并为这些职位提取特征，然后自己制作一个标注器。将更适合您的知识领域。

标签： nlp named-entity-recognition spacy

【解决方案1】：

Spacy NER 不支持“职位”实体，正如 Nathan 所述。但是您可以为您的用例创建一个自定义命名实体。这是官方文档link。您可以在那里找到训练 Spacy NER 的分步指南。

您需要标记数据来训练您的 NER。通常，您需要至少 4000-5000 个训练示例和 2000 个测试示例。您拥有的训练数据越多，NER 性能就越好。

这是一些样本训练数据。

TRAIN_DATA = [
    ('Who is Shaka Khan?', {
        'entities': [(7, 17, 'PERSON')]
    }),
    ('I like London and Berlin.', {
        'entities': [(7, 13, 'LOC'), (18, 24, 'LOC')]
    }),
    ('I work as software engineer.', {
        'entities': [(9, 18, 'JOBTITLE')]
    }),

]

【讨论】：

【解决方案2】：

Stanford NER 支持 Titles（虽然并不完美）。请参阅http://corenlp.run/的演示页面

【讨论】：