【问题标题】:What is the use of Brown Corpus in measuring Semantic Similarity based on WordNetBrown Corpus 在基于 WordNet 的语义相似度测量中有什么用
【发布时间】:2013-09-09 19:45:57
【问题描述】:

我遇到了几种使用 WordNet 的结构和层次结构来测量语义相似度的方法,例如江和康拉斯测度(JNC)、雷斯尼克测度(RES)、林测度(LIN)等

使用 NLTK 测量它们的方式是:

sim2=wn.jcn_similarity(entry1,entry2,brown_ic)
sim3=entry1.res_similarity(entry2, brown_ic)
sim4=entry1.lin_similarity(entry2,brown_ic)

如果WordNet是计算语义相似度的基础,那么布朗语料库在这里有什么用?

【问题讨论】:

    标签: nlp similarity wordnet corpus semantic-analysis


    【解决方案1】:

    看看NLTK howto for wordnet.的解释

    具体来说,*_ic 表示法是信息内容

    synset1.res_similarity(synset2, ic): Resnik Similarity: 返回一个分数 表示两个词义的相似程度,基于信息 最不常见的Subsumer(最具体的祖先)的内容(IC) 节点)。请注意,对于任何使用信息的相似性度量 内容,结果取决于用于生成的语料库 信息内容和信息内容的具体情况 已创建。

    来自here信息内容的更多信息:

    测量词义IC的常规方法是结合 从一个本体中了解它们的层次结构 WordNet 及其在文本中的实际使用统计数据来自 一个庞大的语料库

    【讨论】:

    • 那么我们可以说即使wn_ic=wn.ic(wn) 可以使用,为了进行有效的相似性测量,它应该来自不是wordnet 的文本(例如棕色)?因为你提到的论文说:We feel that WordNet can also be used as a statistical resource with no need for external ones
    • 论文提出了一种基于下义词数量的方法。
    【解决方案2】:

    您代码中的 brown_ic 指的是信息内容文件 ~/nltk_data/corpora/wordnet_ic/ic-brown.dat。有关 ic-brown.dat 格式的更多详细信息,请查看 NLTK 用户组的 this thread

    总体而言,ic-brown.dat 文件列出了 Brown 语料库中存在的每个单词及其信息内容值(与单词频率相关联)。

    JC、Resnik 和 Lin 的语义测量都需要使用除 WordNet 之外的语料库。这些措施将 WordNet 与语料库统计相结合,与单独使用 WordNet 相比,它们与人类判断的相关性更好(Li 2006;Pedersen 2010)。

    【讨论】:

      猜你喜欢
      • 2018-07-24
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2012-07-12
      • 1970-01-01
      • 2013-03-25
      • 2013-03-18
      相关资源
      最近更新 更多