language model即语言生成模型

character level language model 训练过程

训练过程的输入时给定的,结果是一个向量,进过softmax后就是为各个character的概率

第十讲--循环神经网络--课时22--语言模型

测试过程     输入是前一个的输出,输出是由soft max 之后的概率分布 采样得到的

第十讲--循环神经网络--课时22--语言模型

----------------------------------------------------------------------------------------------------------------------------------

如果想要用维基百科的英文语句训练RNN,那么将会无法收敛

第十讲--循环神经网络--课时22--语言模型

第十讲--循环神经网络--课时22--语言模型

----------------------------------------------------------------------------------------------------------------------------------

可以生成诗歌,戏剧,数学证明,c语言代码!

---------------------------------------------------------------------------------------------------------------------------------

language modeling中,隐藏层向量的各个位置是由含义的!比如,或许第一个单元就是检测引号的

第十讲--循环神经网络--课时22--语言模型

可以看到,这个单元的值在引号里和引号外tanh**后的大小是不一样的

第十讲--循环神经网络--课时22--语言模型


相关文章:

  • 2021-11-27
  • 2021-10-11
  • 2022-01-10
  • 2021-11-19
  • 2021-08-06
  • 2021-06-28
  • 2021-10-11
  • 2022-02-02
猜你喜欢
  • 2021-07-11
  • 2021-08-24
  • 2022-01-18
  • 2021-07-23
  • 2021-04-29
  • 2021-12-22
相关资源
相似解决方案