接上节课没讲完的word2vec
word2vec(续)
训练策略：
SGD
Word2vec使用SGD训练存在的问题：
每次只有窗口内的词会参与训练，梯度矩阵太稀疏，训练效率低。
优化方法:
1.negative sampling
转化为二分类问题
2.hierarchical softmax
Glove
公式推导参考这里
词向量评估
词向量存在的问题
多义词
相关文章：
相似解决方案
热门标签
接上节课没讲完的word2vec
SGD
每次只有窗口内的词会参与训练，梯度矩阵太稀疏，训练效率低。
1.negative sampling
转化为二分类问题
2.hierarchical softmax
公式推导参考这里
多义词
相关文章：