【发布时间】:2015-05-15 04:49:17
【问题描述】:
K-最近邻和自然语言处理:如何测试词性数组之间的距离?例如
('动词','副词','名词')和('形容词','副词','代词')?
一个更好的措辞问题是,您如何判断两者在上下文中的相似性,即它们是词性而不仅仅是字符串?
【问题讨论】:
标签: algorithm machine-learning nlp nltk knn
K-最近邻和自然语言处理:如何测试词性数组之间的距离?例如
('动词','副词','名词')和('形容词','副词','代词')?
一个更好的措辞问题是,您如何判断两者在上下文中的相似性,即它们是词性而不仅仅是字符串?
【问题讨论】:
标签: algorithm machine-learning nlp nltk knn
作为一种通用方法,您可以使用 POS 向量之间的cosine 来衡量它们的相似性。另一种方法是在两个向量之间使用hamming distance。
向量之间还有很多其他的距离函数。但这实际上取决于您想要做什么以及您的数据是什么样的。您应该回答诸如职位重要吗?你会给这些向量多少相似度? ('名词','动词')和('动词','名词')? ('副词')和('形容词')之间的距离是否小于('副词')和('名词')之间的距离?等等。
【讨论】: