我可以使用 spacy 进行标记，然后使用 fastext 的预训练词嵌入提取这些标记的向量吗答案

【问题标题】：can I tokenize using spacy and then extract vectors for these token using pre trained word embeddings of fastext我可以使用 spacy 进行标记，然后使用 fastext 的预训练词嵌入提取这些标记的向量吗
【发布时间】：2018-11-27 10:44:40
【问题描述】：

我正在使用 spacy 的德语模型对我的德语文本语料库进行标记。由于目前 spacy 只有小型德国模型，我无法使用 spacy 本身提取词向量。所以，我从这里开始使用 fasttext 的预训练词嵌入：https://github.com/facebookresearch/fastText/blob/master/README.md#word-representation-learning

现在 facebook 在为其提取词嵌入之前已使用 ICU 标记器进行标记化过程。我正在使用 spacy 有人可以告诉我这是否可以吗？我觉得 spacy 和 ICU tokenizer 的行为可能会有所不同，如果是这样，那么我的文本语料库中的许多 token 将没有相应的词向量

感谢您的帮助！

【问题讨论】：

您的问题是什么？这可以吗？不是问题，如果这种方法可以帮助您实现目标，那没关系...
你不能用循环找出这个吗？遍历所有令牌并尝试访问模型[令牌]，看看每个令牌生成器有多少未命中？

标签： nlp spacy word-embedding fasttext

【解决方案1】：

更新：

我尝试了上述方法，经过大量测试，我发现这很适合我的用例。我的数据中的大多数（几乎所有）标记都与 fasttext 中存在的标记匹配，并且我能够获得相同的词向量表示。

【讨论】：