自然语言处理工具的比较（UIMA、LingPipe、Lucene、Gate、Stanford）答案

【问题标题】：comparison of natural language processing tools (UIMA, LingPipe, Lucene, Gate, Stanford)自然语言处理工具的比较（UIMA、LingPipe、Lucene、Gate、Stanford）
【发布时间】：2013-09-18 09:13:03
【问题描述】：

我想选择一个自然语言处理工具来做常见的任务，例如标记化、句子检测、各种标记（名称实体识别、POS 标记，...）。我的问题有两个部分：

选择自然语言处理的标准是什么工具？
在（UIMA、LingPipe、Lucene、Gate、Stanford）中，满足哪一个这些标准更好吗？

你有什么建议？

【问题讨论】：

您能更具体地谈谈您的任务吗？比较实际上取决于您想要完成的具体任务。
Languageware Resource Workbench 将执行您提到的操作，并输出到 UIMA 字典。但是，我的回答可能有偏见且不完整，因此我不会将其作为答案。
UIMA 不是 NLP 工具。它是一个互操作性和扩展框架，允许将这些工具集成到一个通用框架中。有多种 UIMA 组件集合可以满足您的需求（例如 DKPro Core、ClearTK、U-Compare 等），其中一些集成了您提到的工具（例如 LingPipe、Stanford 等）。GATE 介于两者之间。如果您使用的是 Java，我可能会建议您先使用 Apache OpenNLP (ASL) 或 Stanford CoreNLP (GPL)，这取决于您喜欢哪种许可证。 - 请注意，这是一个意见问题，并不适合 Stackoverflow。
可以在这里找到一个很好的概述：emerge.mc.vanderbilt.edu/…

标签： lucene stanford-nlp gate uima

【解决方案1】：

一些一般标准：

我可以使用提供的模型执行多少任务（例如，该工具是否包含用于我的任务的模型，例如西班牙语标记化或蛋白质 NER）？
添加缺少的工具对我来说是多么容易。

顺便说一句，我会将NLTK 添加到您的列表中，并将其添加到excellent, free accompanying book。

【讨论】：