参考Xin Rong的论文 word2vec Parameter Learning Explained,写得真的很好

word2vec原理

输入的onehot是只有一个元素为1其他全为0的,因此,我们做一个矩阵乘法,相当于把矩阵W中的某一行全部取出而已!!!

cbow版本是输入context,输出中心词

skip gram版本是输入中心词,输出context

其中,skipgram在大型语料库中的表现较好。

层次Softmax 实际上是把一个超大的多分类问题转化成一系列二分类问题

对于w2v,在output的时候,计算出每个词的一个score,之后有一个softmax运算,softmax运算的大部分时间在于分母的计算,而如果使用了层次softmax,从一个词到另一个词的过程相当于一个构造一棵haffman树往并下走(补充:haffman数是二叉树,其中权重越大的越靠近根节点,所有节点的权重之和比其他方式都小)

每往下一层,就相当于一个二分类(逻辑斯蒂回归,二元softmax),而从一个根节点到叶子节点的总共的概率就是各层概率之和,

相关文章:

  • 2022-01-02
  • 2021-10-11
  • 2021-05-03
  • 2021-11-29
  • 2021-09-04
  • 2021-08-08
  • 2021-05-28
  • 2022-01-08
猜你喜欢
  • 2021-04-22
  • 2021-10-10
  • 2022-01-10
  • 2021-09-02
  • 2021-05-07
相关资源
相似解决方案