手套嵌入中的标记和词汇是什么意思？

【问题标题】：What does tokens and vocab mean in glove embeddings?手套嵌入中的标记和词汇是什么意思？
【发布时间】：2016-09-06 14:13:35
【问题描述】：

我正在使用手套嵌入，我对嵌入中的 tokens 和 vocab 感到很困惑。喜欢这个：

Common Crawl (840B tokens, 2.2M vocab, cased, 300d vectors, 2.03 GB download)

tokens 和 vocab 分别是什么意思？有什么区别？

【问题讨论】：

【解决方案1】：

在 NLP 中，标记是指语料库中“单词”的总数。我将单词放在引号中，因为定义因任务而异。词汇是唯一“单词”的数量。

应该是 vocab

【讨论】：

【解决方案2】：

tokens是在训练你的语料库后获得的，它们与单词的大小不同。

一个长度为 10 的词，这个词的标记可能是 2 或 3 个标记，它基本上代表了你可以更好地表示你的词并使它对你的模型有意义。

【讨论】：