Glove:

动手学深度学习第十七课:Glove

论文中给的例子:

动手学深度学习第十七课:Glove
看到第三行的比值,是有三个向量来决定的。
动手学深度学习第十七课:Glove
经过一系列的构想(可忽略过程),得到了如下,蓝色框住的损失函数:
动手学深度学习第十七课:Glove
动手学深度学习第十七课:Glove

Glove中也是每个词都有两个向量,最终使用两个的和向量作为最终词的最终向量。

相关文章: