调试 Baum Welch 算法的实现（用于 POS 标记）答案

【问题标题】：Debugging the implementation of Baum Welch Algorithm (for POS tagging)调试 Baum Welch 算法的实现（用于 POS 标记）
【发布时间】：2012-01-12 20:09:05
【问题描述】：

我正在做一个项目，其中一部分是开发一个用于 POS 标记的无监督 HMM 训练器，我现在想测试它是否存在可能的错误。

我正在使用 Baum-Welch 算法来训练模型。输入是序列词（从语料库中提取），输出是来自一组状态(s1, s2, ... sn) 的隐藏状态序列。我现在完成了编码，但我不确定它是否没有错误。

谁能给我一些调试思路？正如我应该在输出中检查什么？如何检查我的算法的准确性？

【问题讨论】：

标签： nlp pos-tagger unsupervised-learning

【解决方案1】：

无监督词性标注是一个非常有趣的新兴研究课题。如果我理解正确，您实际上是在问如何评估您的标记准确性，而不是如何调试代码。评估是无监督 POS 归纳中的一个已知问题。对您的问题的简短回答是：从NLTK 获取this annotated corpus，然后通过将状态映射到它最常同时出现的标签，将您的状态映射到语料库标签，并找到正确的百分比。这种评估过程称为多对一映射。

您应该熟悉文献，因为它会回答您的问题等等。以下是一些开始的地方：

早期论文：

马克·约翰逊。 2007. 为什么 EM 找不到好的 HMM 词性标注器？在 2007 年自然语言处理和计算自然语言学习中的经验方法 (EMNLP-CoNLL) 联合会议论文集上，第 296-305 页。
一份调查报告：

Christos Christodoulopoulos、Sharon Goldwater 和 Mark Steedman。 2010. 两个十年的无监督 POS 归纳：我们走了多远？在 2010 年 EMNLP 会议记录中。

当您说“无监督”时，您应该问自己是否只想使用原始文本，或者还想使用字典等。也有这方面的工作。

此外，还有用于该任务的代码。

另一个询问 NLP 的地方是：http://metaoptimize.com/qa。

如果您还有其他问题，请随时提问。

【讨论】：

您好，首先感谢您的回答和参考我还没有处于评估阶段。现在我更关心的是我的实现技术的准确性。从我之前实现 NLP 问题的经验中，我了解到最小的错误可能导致不同的输出（可能是因为我的编码风格不好）在这种特殊情况下，我没有任何示例检查点可以匹配，我只有是华尔街期刊语料库（有标签和无标签），我的实验目标是学习一些具有不同参数配置的无监督标签。