这一节讲RNN如何learning:

下面讲如何定义loss,举一个例子:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

RNN同样可以用gradient descent来train:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

因为同样的sequent在不同的时间点会被使用:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

 

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

input(多个)-->output(一个):

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

多对多:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

出现叠词时,用CTC区分:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

一些词的顺序可以被忽略:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

encoder和decoder一起train:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

RNN vs Structured Learning:

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

【李宏毅】机器学习 笔记10(RNN——循环神经网络(Recurrent Neural Network)(下))

 

 

相关文章:

  • 2021-10-29
  • 2021-05-17
  • 2021-09-01
  • 2021-04-21
  • 2021-12-15
  • 2021-07-31
  • 2021-12-30
  • 2021-04-28
猜你喜欢
  • 2021-09-14
  • 2021-12-14
  • 2022-12-23
  • 2021-07-08
  • 2022-01-03
  • 2021-09-02
  • 2021-11-13
相关资源
相似解决方案