深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

分析步骤:

第一步:将one-hot形式分词结果作为输入([0,1,0....,0]的列向量的V*1维词向量),与投影矩阵C(D*V维度)相乘,得到D*1维的向量

第2步:将第一步的输出结果做拼接,作为隐藏层的输入。

第3步:经过一个全连接的神经网络,经过激励层,再softmax,得到该词出现的概率矩阵和互熵损失。不断训练输出结果,改善权重矩阵C(可以发现C的列向量就是该词的词向量表现形式)

深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

深度学习笔记10-词嵌入和word2vec-第2部分(NLP领域)

 

相关文章:

  • 2021-06-04
  • 2021-05-16
  • 2021-12-20
  • 2021-12-09
  • 2022-03-06
  • 2022-12-23
  • 2021-06-14
  • 2021-06-15
猜你喜欢
  • 2021-07-18
  • 2021-04-13
  • 2021-06-17
  • 2021-11-29
  • 2021-09-21
  • 2022-01-19
  • 2022-12-23
相关资源
相似解决方案