【问题标题】:How to run LASER sentence embeddings on GPU?如何在 GPU 上运行 LASER 句子嵌入?
【发布时间】:2021-04-19 16:02:55
【问题描述】:

我有一个 1100 万个句子的语料库,我需要对其进行矢量化以进行进一步的比较。一切都很好,除了它在 CPU 上的速度非常慢(每秒约 6 句)。 对 LASER 库的调用非常简单,无需调整更多参数。

from laserembeddings import Laser
laser = Laser()

vector = laser.embed_sentences("this is a test", lang="en")

在他们声称的LASER主页上:

它提供极快的性能,可处理多达 2,000 个 GPU 上每秒的句子数。

我如何利用我的 GPU 来完成这项任务?

解决方案: 我安装了支持 CUDA 的 PyTorch,LASER 直接开始使用 GPU:

【问题讨论】:

    标签: python facebook embedding


    【解决方案1】:

    我猜你正在使用这个library?你有什么GPU?支持cuda吗?

    source 看来,GPU 支持似乎是默认启用的。

    您能否检查pytorch 是否可以访问您的 GPU?

    import torch
    print(torch.cuda.is_available())
    

    【讨论】:

    • 我正在安装 Torch,并在我们发言时启用了 CUDA 支持。我的 GPU 是 NVidia RTX 3080,所以它应该可以正常工作。 is_available() 函数返回 False。所以我认为这是尝试的正确方向,非常感谢。
    猜你喜欢
    • 2016-02-04
    • 2021-04-06
    • 1970-01-01
    • 2020-04-07
    • 2019-10-06
    • 2017-07-27
    • 2018-11-21
    • 2019-01-14
    • 2021-02-03
    相关资源
    最近更新 更多