【发布时间】:2021-04-19 16:02:55
【问题描述】:
我有一个 1100 万个句子的语料库,我需要对其进行矢量化以进行进一步的比较。一切都很好,除了它在 CPU 上的速度非常慢(每秒约 6 句)。 对 LASER 库的调用非常简单,无需调整更多参数。
from laserembeddings import Laser
laser = Laser()
vector = laser.embed_sentences("this is a test", lang="en")
在他们声称的LASER主页上:
它提供极快的性能,可处理多达 2,000 个 GPU 上每秒的句子数。
我如何利用我的 GPU 来完成这项任务?
【问题讨论】: