按含义规范化单词

Question

我正在进行句子分析，我理解句子并将信息解密为键值对。 喜欢例如

{ "product" : "milk" , "money": "200 usd" }

{ "product" : "chair" , "cost": "200 usd" }

{ "product" : "chair" , "price": "200 usd" }

现在这个 json 输出不容易使用，除非我对其进行规范化。 我想将所有表示钱的词标准化为一个普通词，比如钱。

{ "product" : "milk" , "money": "200 usd" }

{ "product" : "chair" , "money": "200 usd" }

{ "product" : "chair" , "money": "200 usd" }

所以现在都意味着

金钱、成本、价格实际上都意味着金钱。

有没有办法像这样正常化？ 我在 nltk 中搜索了词干分析器和词形还原器。但这似乎不符合我的意思。有人可以指导吗？

Answer 1

您可以使用 NLTK 并在 WordNet synonym set 中查找每个键，然后为每个键获取一个规范条目，比如第一个。

如果您的语料库相当通用，这可能就足够了，但是如果您期望使用很多技术语言，您可能必须生成自己的词嵌入或集群来解决这个问题。