N-gram

• 作用：

  • 通常是基于一定得语料库，用N-gram来预计或者评估一个句子是否合理。
  • 可以用来评估字符串之间的差异程度。

• 常见的应用：

  • 基于N-Gram模型定义的字符串距离

  • 利用N-Gram模型评估语句是否合理

  • 使用N-Gram模型时的数据平滑算法

• N-Gram在模糊匹配中的应用：

  • N-Gram距离，把字符串切分成每个长度为N的子字符串，计算共有子串等。

• 利用N-Gram模型评估语句是否合理（和前面外在不一样本质一样）：

  • 例1：语句不合理

    

  • 例2：知道前面信息越多，对后面的约束越强。

    

  • m个词的序列，由链式规则，计算P(w1,w2,⋯,wm)=P(w1)P(w2|w1)P(w3|w1,w2)⋯P(wm|w1,⋯,wm−1)；马尔科夫链假设（当前这个词只和前面几个词有关）不必追溯到最开始的词，所以P(wi|w1,⋯,wi−1)=P(wi|wi−n+1,⋯,wi−1)；最后可以利用最大似然法求出一组参数，是训练 样本概率最大。

    

  • 使用N-Gram模型时的数据平滑算法：

    • 

• N-gram实际E1：

  • 搜索引擎，输入一个词时，会出现一个下拉的备选框。

  • 输入法提示

• E2:某某作家或者语料库风格的文本自动生成
  • 计算机根据作家语料库利用N-gram模型自动生成文段。
•  

• 其他：

  • 模式匹配（字符串查找）又分为

    • 精确匹配（KMP算法、BM算法和BMH算法等等）

    • 模糊匹配：一个可能错拼单词映射到一个推荐的正确拼写上所采用的技术就是模糊匹配。

      

  • 马尔科夫链假设