定义一个词的类别

Question

我有一组 20'000 个单词和简单的短语。我需要挑选每个单词并定义它的一般概念或类别。

所以如果我选择“曲棍球”，它应该属于一个大的“体育”类别。如果是“巴拉克奥巴马”，那么它就是“政治”。这是我的单词列表中的一个示例：

israel
illness
face
experts
throat
tory
moments
numerous

所有奇怪的东西都可以归入“一般”类别。

这是我的问题。以下是我的想法，您可能会忽略，因为我不知道如何处理这个问题。

可能我正在寻找某种可以定义单词一般概念的打开字典或 API。我正在考虑使用一个简单的字典并通过它解析它的 Economics 类别来运行每个单词。但并非所有单词都有。

Answer 1

我可以将您指向http://dbpedia.org/。它是许多维基百科信息框数据的本体，它有一个用于查询的 sparql 端点。两年前我用过，但是api好像变了，所以现在不能给你举个例子。但它有一个很好的文档。

Answer 2

听起来您想要进行主题建模。 quanteda、Snowball 和 tm 包是很好的起点。使用mallet 包进行主题建模的资源在这里：

http://www.matthewjockers.net/materials/dh-2014-introduction-to-text-analysis-and-topic-modeling-with-r/

主题建模的总体思路是，您的文字来自本身与某个主题相关的文档。主题建模检查哪些词在同一个文档中一起出现，并假设在许多文档中，这些词可能是关于同一个主题的。希望这会有所帮助。