CRFs及其应用

CRFs及其应用

模型原理

基本思路：给定观察序列$X$X，输出标识序列$Y$Y，通过计算$P(Y|X)$P(Y∣X)求解最优标注序列。

CRFs和HMMs的区别：

CRFs中特征函数(全局特征函数)统一表示为：
$F_j(Y,X)=\sum_{i=1}^{n}f_j(y_{i-1},y_i,X,i)$Fj​(Y,X)=i=1∑n​fj​(yi−1​,yi​,X,i)
其中局部特征函数$f_j(y_{i-1},y_i,X,i)$fj​(yi−1​,yi​,X,i)表示状态特征$s(y_{i-1},y_i,X,i)$s(yi−1​,yi​,X,i)或转移特征$t(y_{i-1},y_i,X,i)$t(yi−1​,yi​,X,i)。

则CRFs定义的条件概率为：
$p(Y|X,\lambda)=\frac{1}{Z(X)}\exp (\sum_j\lambda_j F_j(Y,X))$p(Y∣X,λ)=Z(X)1​exp(j∑​λj​Fj​(Y,X))
其中，$Z(X)$Z(X)为归一化因子：$Z(X)=\sum_Y\exp (\sum_j\lambda_jF_j(Y,X))$Z(X)=∑Y​exp(∑j​λj​Fj​(Y,X))

实现CRFs要解决的三个问题

• 特征选择
• 参数训练
• 解码

CRFs的应用

由字构词的(基于字标注)的分词方法

基本思想：将分词过程看作是字的分类问题:每个字在 构造一个特定的词语时都占据着一个确定的构词位置 (即词位)。一般情况下，每个字只有4个词位:词首(B)、词中(M)、词尾(E)和单独成词(S) 。

算法过程：

1. 特征选择

   • 一元特征：当前字、当前字的前一个字、当前字的后一个字
   • 二元特征：各标记间的转移特征，状态特征和转移特征

2. 参数训练

   通过训练语料估计特征权重$\lambda_j$λj​, 使其在给定一个观察序列$X$X的条件下, 找到一个最有可能的标记序列$Y$Y， 即条件概率$P(Y|X)$P(Y∣X) 最大。

3. 解码

   条件随机场解码的过程就是根据模型求解的过程，可以由维特比 (Viterbi)算法完成。维特比算法是一 个动态规划算法，动态规划要求局部路径也是最优 路径的一部分。

CRFs和MEMMs