【问题标题】:BerkeleyLM: Get n-gram probabilityBerkeleyLM:获得 n-gram 概率
【发布时间】:2015-09-21 02:34:40
【问题描述】:

我有一个 BerkeleyLM 语言 model 并想用它来获取给定 n-gram(来自一个句子)在该模型中的概率。

我已经测试了下面列出的两种方法,但它们不返回概率,而是返回负数,例如 -1.111 或 -5。这里做错了什么?

【问题讨论】:

    标签: nlp n-gram


    【解决方案1】:

    getLogProb - 您应该注意到方法名称:小于 1 的数字的“Log”为负数。 它们返回概率的对数而不是概率。

    【讨论】:

    • 嗯,这似乎是一个很好的解释。你碰巧知道那是什么吗?我的意思是,为什么我会对 p 的日志而不是 p 本身感兴趣?
    • 这是因为一长串单词的概率是一堆概率的乘积,这些概率都小于 1。这可能会变得非常小,并且由于浮点限制而导致问题。这就是我们在日志空间中工作的原因。它还让衍生品变得更容易。
    猜你喜欢
    • 1970-01-01
    • 2020-11-17
    • 2017-09-21
    • 2020-05-07
    • 1970-01-01
    • 1970-01-01
    • 2012-12-31
    • 1970-01-01
    • 2018-06-21
    相关资源
    最近更新 更多