最新的预训练多语言词嵌入答案

【问题标题】：Latest Pre-trained Multilingual Word Embedding最新的预训练多语言词嵌入
【发布时间】：2020-06-15 09:13:52
【问题描述】：

是否有最新的预训练多语言词嵌入（多种语言联合映射到同一个向量空间）？

我查看了以下内容，但它们不符合我的需求：

FastText / MUSE (https://fasttext.cc/docs/en/aligned-vectors.html)：这个好像太老了，词向量没有使用子词/词片信息。
LASER (https://github.com/yannvgn/laserembeddings)：我现在正在使用这个，它使用子词信息（通过 BPE），但是，建议不要将其用于词嵌入，因为它旨在嵌入句子 (https://github.com/facebookresearch/LASER/issues/69) .
BERT 多语言（bert-base-multilingual-uncased in https://huggingface.co/transformers/pretrained_models.html）：它是上下文嵌入，可用于嵌入句子，似乎不擅长嵌入没有上下文的单词。

这是我要解决的问题：

我有一个公司名称列表，可以是任何语言（主要是英语），我有一个英语关键字列表，用于衡量给定公司名称与关键字的接近程度。现在我有一个简单的关键字匹配解决方案，但我想使用预训练嵌入来改进它。正如您在以下示例中看到的那样，存在几个挑战：

公司名称示例：“cheapfootball ltd.”、“wholesalefootball ltd.”、“footballer ltd.”、“soccershop ltd.”

关键字示例：“足球”

【问题讨论】：

the word vectors are not using subwords / wordpiece information. - 不，基于 fasttext 的词嵌入是使用 n-gram 子词创建的。见：github.com/facebookresearch/fastText/issues/475
你说得对，大多数基于 fasttext 的词嵌入都使用子词，尤其是那些可以通过“fasttext.load_model”加载的子词，但是，我指的是 (fasttext.cc/docs/en/aligned-vectors.html) 只有“文本”格式，并且不使用子词信息。
抱歉，没有看到您的链接指向“对齐的词向量”:)

【解决方案1】：

我认为使用嵌入到此应用程序中构建模型可能有点误导（通过经验学习）。因为如果有两家公司，football ltd 和 football ltd，模型可能会说两者都是匹配的，这可能是不正确的。一种方法是删除冗余词，即 Facebook 公司中的公司，Facebook ltd 中的 ltd 并尝试匹配。

另一种方法是使用 deepmatcher，它使用基于单词上下文的深度学习模糊匹配。 Link

如果句子相似度是您希望遵循 STSBenchmark 算法的主要方法，可能值得探索：Link

Sent2vec link 和 InferSent Link 使用 Fasttext，但在 STSBenchmark 上似乎有不错的结果

【讨论】：

感谢您的回复，但我不是想将公司名称与公司名称进行匹配，而是尝试将公司名称与某个主题（例如本例中的足球）进行匹配。我也已经做了预处理，例如在应用嵌入之前从名称中删除公司类型 (ltd)。我会查看您的链接，看看是否有什么可以尝试的。

【解决方案2】：

检查这是否可行：

如果您对整个词嵌入没问题：
（这两个都有点老了，但把它放在这里以防它对某人有帮助）

如果您对上下文嵌入没问题：

您甚至可以尝试使用 XLM-R 或 mBERT 等多语言转换器实现的（句子片段标记化的）非上下文输入词嵌入，而不是输出上下文嵌入。（不知道效果如何）

【讨论】：