有没有人尝试过在特定领域的语料库上微调 Glove 嵌入？
微调 word2vec 嵌入已被证明在各种不同方面对我来说非常有效NLP 任务，但我想知道在我的特定领域语料库上生成同现矩阵，并在该语料库上训练手套嵌入（使用预训练嵌入初始化）是否会产生类似的改进。
【问题讨论】：
标签： machine-learning nlp word2vec word-embedding
我自己也在尝试做同样的事情。你可以试试mittens。
他们已经成功地为它构建了一个框架。 Christopher D. Manning（GloVe 的合著者）与之相关。
【讨论】：
word2vec 和 Glove 是一种生成词嵌入的技术，即将文本（一组句子）建模为计算机可读的向量。
虽然word2vec 在本地上下文（相邻词）上进行训练，但Glove 将在整个文本或语料库中寻找同时出现的词，它的方法更加全球化。
word2vec
word2vec 有两种主要方法，其中算法循环遍历句子的世界。对于每个当前单词w，它将尝试预测
来自w 的相邻词及其上下文，这是Skip-Gram 方法
w 从其上下文来看，这是CBOW 方法
因此，word2vec 将为具有相似上下文的单词生成相似的嵌入，例如单数名词及其复数，或两个同义词。
手套
Glove 模型背后的主要直觉是简单的观察，即单词-单词共现概率的比率有可能编码某种形式的含义。换句话说，嵌入是基于目标词对之间距离的计算。该模型通过分析这两个目标词与其他一些探测词（上下文词）的共现来计算文本中两个目标词之间的距离。
https://nlp.stanford.edu/projects/glove/
例如，考虑目标词“ice”和“steam”与词汇表中的各种探测词的共现概率。以下是来自 60 亿字语料库的一些实际概率：
正如人们所预料的那样，“冰”与“固体”共同出现的频率高于与“气体”共同出现的频率，而“蒸汽”与“气体”共同出现的频率高于与“固体”共同出现的频率。这两个词经常与它们的共同属性“水”同时出现，并且都很少与不相关的词“时尚”同时出现。只有在概率的比率中，来自“水”和“时尚”等非区分词的噪声才会抵消，因此大值（远大于 1）与“冰”特定的属性相关性很好，而小值（远小于比 1) 与“蒸汽”的特定属性有很好的相关性。通过这种方式，概率比编码了一些与热力学相的抽象概念相关的粗略形式的含义。
另外，Glove 非常擅长类比，在 word2vec 数据集上表现良好。
【讨论】：