自然语言处理 | (14) 神经网络语言模型

在本篇博客中，我们将从基于n-gram的传统统计语言模型，过渡到典型的前馈神经网络模型(全联接网络)和循环神经网络模型。

目录

1.传统语言模型

2. 神经网络语言模型

3.RNN语言模型训练过程

4. 语言模型评估

---

1.传统语言模型

• 文本稀疏性

• 泛化能力不佳

 

2. 神经网络语言模型

• RNN语言模型

3.RNN语言模型训练过程

 

• 反向传播

 

4. 语言模型评估

5.扩展阅读

• Andrej Karpathy的RNN博客
• Language Model: A Survey of the State-of-the-Art Technology