doc2vec 的分层培训：如何为同一文档的句子分配相同的标签？

Question

给doc2vec中的一堆句子分配同一个标签有什么效果？我有一个文档集合，我想使用 gensim 来学习向量来执行“文件”分类任务，其中文件是指给定 ID 的文档集合。我有几种标记方式，我想知道它们之间有什么区别，哪种是最好的 -

• 获取一个文档 d1，为标签分配标签 doc1 并训练。为其他人重复

• 获取一个文档 d1，为标签分配标签 doc1。然后将文档标记为句子并为其标签分配标签doc1，然后使用完整文档和单个句子进行训练。为其他人重复

例如（忽略该句子未标记化）-

Document -  "It is small. It is rare" 
TaggedDocument(words=["It is small. It is rare"], tags=['doc1'])
TaggedDocument(words=["It is small."], tags=['doc1'])
TaggedDocument(words=["It is rare."], tags=['doc1'])

• 与上述类似，但也为每个句子分配一个唯一标签以及doc1。完整文档包含所有句子标签以及doc1。

示例 -

Document -  "It is small. It is rare" 
TaggedDocument(words=["It is small. It is rare"], tags=['doc1', 'doc1_sentence1', 'doc1_sentence2'])
TaggedDocument(words=["It is small."], tags=['doc1', 'doc1_sentence1'])
TaggedDocument(words=["It is rare."], tags=['doc1', 'doc1_sentence2'])

我还有一些额外的分类标签要分配。那么最好的方法是什么？

Answer 1

你可以做到这一切！将相同的标签分配给多个文本几乎与将这些文本组合成一个更大的文本并为其分配该标签具有相同的效果。细微的差别在于Doc2Vec 模式，其中有一个上下文窗口 – PV-DM (dm=1)。使用单独的文本，永远不会有上下文延伸到句子的结尾/开头。

事实上，由于gensim 的优化代码路径对文本大小有 10,000 个标记的限制，因此将较大的文档拆分为子文档，但有时需要重复它们的标签作为一种解决方法。

您具体提出的建议，即同时训练完整文档和文档片段，会起作用，但也会使文本量加倍（因此训练注意力/个人预测示例）对于'doc1' 标签，与更窄的每句标签相比。您可能想要，也可能不想要 - 它可能会影响每个人的相对质量。

什么是最好的尚不清楚 - 这取决于您的语料库和最终目标，因此应通过实验确定，并进行明确的最终评估，以便您可以自动化/系统化严格搜索最佳内容。

不过有一些相关说明：

• Doc2Vec 往往更适用于每个文档至少有十几个单词的文档。
• 'words' 需要进行标记 - 字符串列表，而不是字符串。
• 它受益于大量不同的数据，特别是如果您正在训练一个更大的模型——更多独特的标签（包括重叠的标签）和多维向量——你需要更多的数据来避免过度拟合。