余弦相似度文档向量和词向量使用 doc2vec 进行局部流行

Question

我有一个包含 2010-2020 年 25 万篇荷兰新闻文章的语料库，我已应用 word2vec 模型来揭示中性词集和维度（例如好坏）之间的关系。由于我的目标也是分析某些主题在一段时间内的流行程度，因此我正在考虑使用 doc2vec 来同时学习单词和文档嵌入。然后可以将文档中主题的“流行度”计算为文档向量和词嵌入（或词向量的组合）之间的余弦相似度。通过这种方式，我可以计算语料库中的年度局部流行率，看看是否有任何变化。可以在here 找到这种方法的一个示例。

我的问题是平均值。每年的余弦相似度会产生非常奇怪的结果。例如，文档向量和与 covid-19/冠状病毒相关的关键字混合之间的余弦相似性表明，自 2016 年以来，局部流行率有所下降（显然情况并非如此）。

我的问题是我所遵循的方法是否真的有效。或者，也许我缺少一些东西。一个250k的文档和100k+的词汇量应该够了吧？

下面是我写的代码：

# Doc2Vec model 
from gensim.models.doc2vec import Doc2Vec, TaggedDocument
docs = [TaggedDocument(doc, [i]) for i, doc in enumerate(tokenized_docs)]
d2vmodel = Doc2Vec(docs, min_count = 5, vector_size = 200, window = 10, dm = 1)
docvecs = d2vmodel.docvecs
wordvecs = d2vmodel.wv
    
# normalize vector 
from numpy.linalg import norm
def nrm(x):
  return x/norm(x)

# topical prevalence per doc
def topicalprevalence(topic, docvecs, wordvecs):
  proj_lst = []
  for i in range(0, len(docvecs)):
    topic_lst = []
    for j in topic: 
      cossim =  nrm(docvecs[i]) @ nrm(wordvecs[j])
      topic_lst.append(cossim)
    topic_avg = sum(topic_lst) / len(topic_lst)
    proj_lst.append(topic_avg)
  topicsyrs = { 
      'topic': proj_lst,
      'year': df['datetime'].dt.year
  }
  return pd.DataFrame(topicsyrs)

# avg topic prevalence per year
def avgtopicyear(topic, docvecs, wordvecs):
  docs = topicalprevalence(topic, docvecs, wordvecs)
  return pd.DataFrame(docs.groupby("year")["topic"].mean())

# run 
covid = ['corona', 'coronapandemie', 'coronacrisis', 'covid', 'pandemie']
covid_scores = topicalprevalence(covid, docvecs, wordvecs)

Answer 1

训练两者的模式中的 word-vec-to-doc-vec 关系很有趣，但很难描述它们的真正含义。在某种意义上，dm=1 (PV-DM) 的类 CBOW 模式在训练预测“目标”单词时将 doc-vectors 混合为整个window 中的一个相等单词。但是在skip-gram-mixed模式dm=0, dbow_words=1中，每1个doc-vec-to-target-word对循环会有window count context-word-vec-to-target-word pair cycle，改变相对权重。

因此，如果您看到 dm=0, dbow_words=1 有很大改进，也可能是因为这使得模型相对而言更容易接受逐字训练。改变window 是另一种改变这种平衡的方法，或者增加epochs，在普通的dm=1 模式下——这也应该导致文档/单词兼容的培训，尽管可能不是相同的速率/平衡。

单个topicalprevalence() 一整年的平均向量是否实际上反映了主要主题的单个单词出现可能是也可能不是有效的猜想，这取决于训练数据中可能发生的其他变化。语料库中其他主要类别的相对组合的差异可能会淹没一个巨大的新新闻主题。 （EG：如果在 2020 年推出了一些新的部门或子公司，其关注点不同，比如娱乐，它可能会淹没其他词的影响，尤其是在压缩到 单个 em> 某个特定维度的向量。）

类似于年度文章的聚类，以及与目标词最近的 1 个或 N 个聚类的识别，以及它们的相似性，即使文章的数量在变化，也可能更具反映性。或者，将每年的全套文章绘制为与目标词的相似性直方图——这可能显示随着时间的推移，单个文章的“块”（不会失去其与全年平均值相比的独特性） ，更接近新现象。

Answer 2

事实证明，将参数设置为 dm=0, dbow_words=1 允许在同一个空间中训练文档和单词，现在产生了有效的结果。