在哪里可以找到文本挖掘任务的特定领域语料库？

Question

我正在从事一个专注于计算机技术文档的文本挖掘项目。所以有很多行话。像词性标注这样的任务需要一些训练数据来构建一个词性标注器。而且我认为这些训练数据应该来自同一个域，并且正确标记了“.NET、COM、JAVA”等词。

那么我在哪里可以找到这样的语料库？或者有什么解决办法吗？或者我们可以调整现有的标记器来处理特定领域的任务吗？

Answer 1

不幸的是，您可以在特定领域找到这样的语料库。

第 22 条军规。没有专门数据的通用来源。

就像没有通用软件可以解决特定领域的问题一样。

Answer 2

收集训练数据（和定义特征）将是这个问题中最困难的一步。我确定那里有数据集。但是您的另一种选择是确定一些专注于您感兴趣的领域的期刊或新闻网站，然后抓取它们并拉下文本，也许通过搜索关键字来验证您拉下的每篇文章。我以前这样做是为了开发一个专注于选举的语料库。