seq to seq

NLP（3）——seq to seq

 

• 什么是Seq2Seq网络？
  在Seq2Seq模型中采用了这种 Encoder-Decoder架构，其中 Encoder 是一个RNNCell（RNN ，GRU，LSTM 等） 结构，四层的LSTM结构使得能够提取足够多的特征，使得decode的模型变好

• 几种Seq2Seq模式
  1.学霸模式

   

  

   

  2.普通作弊

   

  

  image.png

  
  3.学弱作弊

  

  
  普通作弊的基础上，回顾上一刻的答案

  4.学渣作弊（attention机制）

   

  

  
  上课的时候划重点
• 应用场景
  只要是序列到序列都可以用

• attention机制是怎么引入的？

   

  

  image.png

   

  第一步

   

  

  
  第二步：

  

   

  第三步：

   

  

• seqtoseq损失函数
  损失函数为交叉熵损失函数，一般情况下，深度学习最后用softmax最为分类器一般都会选择用交叉熵损失函数