fasttext Wiki 词向量是单语的吗？

Question

阅读 Bojanowski 等人的论文后。 (2016)，我去fasttext网站上查阅了可用的预训练词向量。

这是我的具体疑问：

这些预训练的词向量 (https://fasttext.cc/docs/en/pretrained-vectors.html) 是单语的吗？类似地，你能确认这些预训练的词向量 (https://fasttext.cc/docs/en/crawl-vectors.html) 是多语言的吗？

如果这点已经在某处得到澄清，我深表歉意，但我无法 100% 确定地核实。

提前致谢。

参考：P. Bojanowski、E. Grave、A. Joulin、T. Mikolov，用子词信息丰富词向量

Answer 1

页面地址：https://fasttext.cc/docs/en/pretrained-vectors.html

• 提供 294 种不同语言标记的向量集，每个向量仅用一种语言标记
• 将模型描述为“使用 Bojanowski 等人 (2016) 中描述的带有默认参数的 skip-gram 模型”训练的模型 - 一篇不描述创建多语言向量的论文

因此，可以安全地假设它们都不是明确的多语言。 （如果有一个或多个，它们不会被清楚地标明吗？）

同样，考虑到页面：https://fasttext.cc/docs/en/crawl-vectors.html

• 页面文本中的任何位置均不包含“多语言”一词
• 提供 158 种不同语言标记的向量集，每个向量仅用一种语言标记

因此，我也认为可以肯定地假设它们都不是明确的多语言。 （如果您认为其中一个或多个是，请尝试下载它们，看看它们是否能在您推测的任何多种语言中提供良好的结果，在没有描述的情况下，它们可能涵盖。）

我相信你强调的那句话，“…a newer version of multi-lingual word vectors are available at…”，将“多语言词向量”松散地用作“多语言词向量”，并描述了页面的全部内容，而不是任何一次下载。

请注意，稍后的工作会对齐备用语言的词向量集，以便相同（ish）的含义具有相似的坐标：

https://fasttext.cc/docs/en/aligned-vectors.html

但是，即使在那里，每种语言的向量也是作为单个下载提供的。

有如此多的冲突标记和冲突子词，它们在不同语言中意味着非常不同的事物，因此很难为多种语言提供一个可用的单一模型，仅考虑单个词标记（没有完整的上下文提供额外的作者意图语言提示）。