lstm与bilstm

 

背景

学习梳理lstm和bilstm的理论知识

什么是lstm，bilstm

1. lstm：是rnn的一种，针对有序的数据，有对数据信息长短记忆的功能
2. bilstm：是前向lstm和后项lstm的组合

为什么要lstm, bilstm

1. lstm:  其可以更好的捕获较长距离的依赖关系，通过训练过程可以学到记忆哪些信息和遗忘哪些信息; 举个例子，“我不觉得他好”，“不”字是对“好”的否定，既该句子的情感分析为贬义。
2. bilstm: lstm建模存在一个问题，无法编码从后向前的信息，而bilstm可以；举个例子，“这个餐厅脏的不行，没有隔壁好”，“不行”是修饰“脏”的程度的，只有bilstm模型才能更好的捕获双向语义。

lstm原理

 

详细计算过程

 

 

 

 

 

 

 

 

 Bilstm原理