Python：下采样令牌或下采样 word2vec 模型

Question

我需要一些关于下采样问题的帮助。我必须制作一个更大的语料库（6 654 940 个句子，19 592 258 个标记）与一个较小的语料库（15 607 个句子，927 711 个标记）相媲美，才能在 2 个可比较的 word2vec 模型上实现它们。 每个语料库是一个列表列表，其中每个列表都是一个标记化的句子： 例如[['the', 'boy', 'eats']['the', 'teacher', 'explains']...]

我想对最大的进行下采样，使其具有与较小的相同数量的标记（保持原始数据结构：对句子进行下采样，直到获得所需的标记数量）。我是编程的初学者，我想到了两种可能的方法，但我不确定如何实现它们： - 对列表列表进行下采样 - 对训练好的word2vec模型进行下采样（我在论坛上看到有参数“sample”可以对最常用的词进行下采样但我想得到随机句子）

你能帮帮我吗？

非常感谢！！ :)

Answer 1

让我们给你明确提到的一些事情贴上标签：

corpus-A 6 654 940 个句子，19 592 258 个标记（每句 2.9 个标记）

语料库-B 15 607 个句子，927 711 个标记（每句 60 个标记）

我会立即观察到，corpus-A 句子的微小平均大小表明它们可能不是 word2vec 所针对的那种自然语言的连续词通常运行。而且，这样的剪辑句子可能不会产生这种训练最典型的window 大小的上下文。 （无论您选择window，窗口都会非常小。请注意，不能从带有单个标记的句子中进行任何训练——这是一个无操作。）

因此，corpus-A 的任何缩放/采样（其句子大约有 3 个标记）在过程结束时不会像 corpus- B（其更典型的句子有几十个到可能几百个标记）。它们不会真正相似，除非在您选择定位的某些单一测量中。

如果事实上你有足够的内存来完全在 RAM 中对 corpus-A 进行操作，那么选择 15607 个句子的随机子集——以匹配 corpus-B 的句子数 em>，使用标准 Python 函数非常简单：

import random
corpus_a_subset = random.sample(corpus_a, len(corpus_b))

当然，这个特定的corpus_a_subset 只会匹配 corpus_b 中的句子数，但实际上在原始单词中要小得多——大约 47k 标记长——考虑到 corpus-A 的平均大小要短得多 句。

如果您的目标是大约 927k-token-long 子集来匹配 corpus-B 令牌计数，您需要大约 (927k / 3 =) 309000 个句子：

corpus_a_subset = random.sample(corpus_a, 309000)

尽管如此，虽然这应该使 corpus_a_subset 与 corpus_b 的原始字数非常匹配，但就唯一标记、标记的相对频率甚至训练上下文的总数而言，它仍然可能是一个非常不同的语料库– 因为具有较短句子的上下文更经常受到句子结尾的限制，而不是完整的window-length。 （尽管底线令牌计数相似，但训练时间可能会明显不同，尤其是当您的 window 很大时。）

如果您的主要兴趣只是能够像使用较小的语料库一样快速地在 corpus-A 子集上进行训练，那么除了丢弃其中的许多句子来精简它之外，还有其他方法：

• sample 参数增加了高频词被随机跳过的频率。在典型的 Zipfian 词频中，常用词在所有可能的不同用法中出现了很多次，因此可以安全地忽略其中的许多冗余词。此外，通过允许相对更多地关注稀有词，丢弃许多这些过多的例子，通常会提高最终词向量的整体有用性。尤其是在非常大的语料库中，选择更积极（更小）的sample 值会丢弃大量语料库，加快训练速度，但仍会产生更好的向量。

• 提高min_count 参数会丢弃更多不常见的单词。与“更多数据总是更好”的任何直觉相反，这通常提高幸存单词向量的有用性。这是因为只有几个用法示例的单词往往不会得到很好的向量——那些少数例子不会显示出所需的多样性和代表性——但是如此多这样罕见但没有充分展示的单词的流行仍然会干扰训练换句话说。

只要仍然有足够多的更频繁和重要单词的示例，sample 和 min_count 的激进设置针对大型语料库，可能会将有效大小减少 90% 或更多——并且仍然会创建剩余单词的高质量向量。

但还要注意：你的两个语料库都没有适合word2vec 训练的那么大。它从大型、多样化的语料库中受益匪浅。尤其是您的 corpus-B 与许多 word2vec 工作相比是很小的 - 虽然您可以通过更多的训练 epoch 和使用更小的向量或更小的生存词汇在一定程度上“拉伸”语料库的影响，您仍然可能低于 word2vec 效果最好的语料库大小。因此，如果可能的话，我会寻找方法来扩大corpus-B，而不是缩小corpus-A。