Skip-Gram是一种词嵌入模型,模型的结构如下所示:

Skip-Gram
该模型是根据中心词计算上下文词,概率为
Skip-Gram每一个单词有两个词向量,一个是作为中心词时的向量,一个是作为上下文词时的向量,公式中v是作为中心词时候的向量,u是作为上下文词时的向量。该概率的分子是中心词与某一个词的相似度,分母是中心词与字典中所有词的相似度的和。
用softmax的原因是,有的内积为负数,但是概率不可能为负数,所以用指数,让所有的概率为正,softmax放大了大概率(max),依然给小的输出一定的概率(soft)。

Skip-Gram的代价函数:

Skip-Gram
为什么下面的目标方程除以T: 为了减少字典的大小的影响

要训练的参数:
Skip-Gram
每个单词都两个词向量

相关文章:

  • 2021-10-22
  • 2022-01-24
  • 2022-12-23
  • 2021-05-18
  • 2022-01-23
  • 2021-08-18
  • 2021-07-25
  • 2021-05-17
猜你喜欢
  • 2021-06-16
  • 2021-07-24
  • 2021-08-16
  • 2021-09-25
  • 2021-10-26
  • 2022-01-05
相关资源
相似解决方案