sense2vec 性能改进答案

【问题标题】：sense2vec performance improvemetssense2vec 性能改进
【发布时间】：2020-01-20 21:11:29
【问题描述】：

我正在使用 Sense2Vec（基于 Spacy，一个出色的 NLP 库/工具）并测试各种单词之间的相似性。不幸的是，性能很慢（在普通 MacBook Pro 上执行时间超过一秒）。

有没有人有办法加快这个速度？

代码如下：

term = "dog|NOUN"
sense2vec = Sense2Vec().from_disk("path-to-s2v_reddit_2019_lg")
sims = sense2vec.most_similar(term, n=top)

我怀疑某些缓存会加快速度，但我不确定应该缓存哪些元素。

感谢任何帮助。

【问题讨论】：

标签： nlp spacy sense2vec

【解决方案1】：

确实有加速Sense2Vec.most_similar的方法。 https://github.com/explosion/sense2vec/blob/master/scripts/06_precompute_cache.py 提供了一个脚本，它预先计算最近邻居的缓存。然后它将与组件一起保存在磁盘上的缓存，使数据更大但查询速度更快。如果查询没有被缓存覆盖，most_similar 会回退到使用正常计算。

【讨论】：