如何使用 CRFSuite 为 CRF 模型准备训练语料库答案

【问题标题】：How to prepare training corpus for CRF model using CRFSuite如何使用 CRFSuite 为 CRF 模型准备训练语料库
【发布时间】：2017-07-29 04:15:16
【问题描述】：

我需要以下格式的数据

(u'Melbourne', u'NP', u'B-LOC'),
 (u'(', u'Fpa', u'O'),
 (u'Australia', u'NP', u'B-LOC'),
 (u')', u'Fpt', u'O'),
 (u',', u'Fc', u'O'),

我所拥有的只是 txt 文件，我需要这些数据用于 NER 任务的 CRF 模型。我打算为 python 使用 crf 套件，但不太了解如何标记训练数据。我可以对它进行 pos-tag，但是如何添加命名实体，因为我需要使用 2 个自定义标签来标记训练数据。

【问题讨论】：

【解决方案1】：

如果您想训练 CRF 模型，那么您需要带注释的数据；对于某些任务，可以依赖现有的语料库，但如果您的任务是新的，那么您必须自己注释实体。有些工具可以提供帮助，例如看看http://brat.nlplab.org/。 GATE 还内置了注解工具。

POS 标签通常用作特征，但并非严格要求（您也应该使用许多其他特征）。

【讨论】：

【解决方案2】：

如果您想使用不同的实体创建自己的训练数据，而不仅仅是 Location 或 Person 实体，那么您可以参考我的回答 Is it possible to train Stanford NER system to recognize more named entities types?

【讨论】：

【解决方案3】：

Brat 是注释新数据集的绝佳方式。在对其进行注释之后，需要将 Brat 输出的 Standoff 格式转换为 Stanford NER 接受的格式。

【讨论】：