语言模型

音字转换

S	da	jia	hao
T1	大	家	好
T2	打	架	好

为了知道拼音转换成哪一个翻译，我们可以求哪一个概率大

T=max(P(T1),P(T2))$$T=max(P(T1),P(T2))$$

因此需要先求P(T)$P(T)$

句子概率

那么怎么求一个句子的概率呢？假如一个句子S=w1,w2,…wl$S=w_1,w_2,\dots w_l$由l$l$个词组成。

P(S)=p(w1)p(w2|w1)p(w3|w2,w1)…p(wl|wl−1,wl−2,…w1)=∏i=1lp(wi|wi−1,wi−2,…w1)$$\begin{array}{rl}P(S)& =p(w_1)p(w_2|w_1)p(w_3|w_2,w_1)\dots p(w_l|w_{l-1},w_{l-2},\dots w_1)\\ & =\prod _{i=1}^{l}p(w_i|w_{i-1},w_{i-2},\dots w_1)\end{array}$$

但是这有一个问题，假如字典中有L个词，我们计算第i个词的概率时，第i$i$个词与前i−1$i-1$个词都有关系，就有Li$L^i$ 种可能,这就太可怕了。

假如我们让第i$i$个词只与第i−1$i-1$个词有关系，

P(S)=∏i=1lp(wi|wi−1,wi−2,…w1)=∏i=1lp(wi|wi−1)$$P(S)=\prod _{i=1}^{l}p(w_i|w_{i-1},w_{i-2},\dots w_1)=\prod _{i=1}^{l}p(w_i|w_{i-1})$$

我们让w0=<BOS>$w_0=<BOS>$即开始符，wl+1=<EOS>$w_{l+1}=<EOS>$即结束符 。这样就只有L$L$种可能，我们计算第i$i$个词的概率就不需要再从头开始计算了，只需要就算前一个词就行了（这里指条件概率）

掐指一算，这不就是一阶马尔科夫链吗