【问题标题】:How to run Fasttext get_nearest_neighbors() faster?如何更快地运行 Fasttext get_nearest_neighbors()?
【发布时间】:2021-08-03 16:14:03
【问题描述】:

我正在尝试使用 Fasttext 提取僧伽罗语中的变形/相似词。 但是 FastText 需要 1 秒才能写 2.64 个单词。如何在不改变模型大小的情况下提高速度?

我的代码如下所示:

import fasttext
fasttext.util.download_model('si', if_exists='ignore')  # Sinhala
ft = fasttext.load_model('cc.si.300.bin')
words_file = open(r'/Datasets/si_words_filtered.txt')
words = words_file.readlines()
words = words[0:300]
synon_dict = dict()
from tqdm import tqdm_notebook
for i in tqdm_notebook(range(len(words))):
    word = words[i].strip()
    synon = ft.get_nearest_neighbors(word)[0][1] ### takes a lot of time
    if is_strictly_sinhala_word(synon):
        synon_dict[word] = synon
import json
with open("out.json", "w", encoding='utf8') as f:
    json.dump(synon_dict, f, ensure_ascii=False)

【问题讨论】:

    标签: python machine-learning nlp gensim fasttext


    【解决方案1】:

    要进行完全准确的get_nearest_neighbors()-type 计算本质上是相当昂贵的,需要针对集合中的每个单词,针对每个新单词进行查找和计算。

    因为看起来这组向量的大小接近或超过 2GB,当仅加载词向量时,这意味着扫描 2GB 可寻址内存可能是运行时的主要因素。

    尝试一些可能会有所帮助的方法:

    • 确保您有足够的 RAM - 如果有任何使用“交换”/虚拟内存,这会使事情变得慢得多。
    • 避免所有不必要的比较 - 例如,在昂贵的步骤之前执行is_strictly_sinhala_word() 检查,这样如果您对结果不感兴趣,可以跳过成本高昂的步骤。此外,您可以考虑缩小整个词向量集,以消除那些您不太可能希望作为响应的词向量。这可能涉及丢弃您知道不是感兴趣的语言的词,或所有低频词。 (如果您在尝试 get_nearest_neighbors() 之前就可以将一半的单词作为最近的邻居,那么它的速度大约会提高一倍。)更多关于这些选项的信息如下。
    • 尝试其他词向量库,看看它们是否有任何改进。例如,Python Gensim 项目可以加载纯单词向量集(例如,cc.si.300.vec 纯单词文件)或 FastText 模型(.bin 文件),并提供了一个 .most_similar() 函数,该函数具有一些在某些情况下,额外的选项和可能会提供不同的性能。 (不过,官方的 Facebook Fasttext .get_nearest_neighbors() 可能还不错。)
    • 使用“近似最近邻”库来预先构建词向量空间的索引,然后可以提供超快速的最近邻查找 - 尽管存在找不到确切的右前 N 个邻居的风险。有很多这样的库——参见benchmarking project 比较了其中的 20 多个。但是,添加这一步会使事情变得复杂,并且这种复杂性的权衡和不完美的结果可能不值得付出努力和节省时间。因此,请记住,如果您的需求足够大而没有其他帮助,这是有可能的。

    关于缩小搜索到的向量集:

    • Gensim KeyedVectors.load_word2vec_format() 函数可以加载.vec 仅字文件,有一个选项limit 将只从文件中读取指定数量的字。看起来您的数据集的 .vec 文件有超过 800k 字 - 但如果您选择仅加载 400k,您的 .most_similar() 计算速度会快两倍。 (而且,由于此类文件通常会预先加载包含最常用词的文件,因此可能不会担心丢失更稀有的词。)
    • 同样,即使您加载所有向量,Gensim .most_similar() 函数也有一个 restrict_vocab 选项,可以将搜索限制为该计数的第一个单词,这也可以加快速度或有助于删除可能不太感兴趣的晦涩单词。
    • .vec 文件可能更易于使用,如果您想预先过滤单词以消除非僧伽罗语单词等。 (注意:通常的.load_word2vec_format() 文本格式需要第一行来声明字数和字维数,但您可以将其关闭,然后使用no_header=True 选项加载,而不是在文件上使用 2 次完整传递计数。)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2011-06-04
      • 2019-07-03
      • 1970-01-01
      • 2015-12-19
      • 1970-01-01
      • 2016-02-27
      相关资源
      最近更新 更多