【问题标题】:Optimizing gensim(C compilier and BLAS) in Window 7在 Windows 7 中优化 gensim(C 编译器和 BLAS)
【发布时间】:2017-10-31 14:01:09
【问题描述】:

我想优化 gensim 以在 Window7 中运行 doc2vec

[1] C 编译器

我按照以下说明安装了 gensim:https://radimrehurek.com/gensim/install.html

pip install --upgrade gensim

但是,在这个页面(https://radimrehurek.com/gensim/models/doc2vec.html)中,说安装gensim之前需要C编译器。

在安装 gensim 之前确保您拥有 C 编译器,以使用优化(编译)的 doc2vec 训练(70 倍加速 [博客])。

  1. 在使用 pip 之前我应该​​做些什么吗?

[2] BLAS

在教程中,https://github.com/RaRe-Technologies/gensim/blob/develop/docs/notebooks/doc2vec-lee.ipynb 是这么说的

训练时间

如果正在使用 BLAS 库,这应该不会超过 3 秒。如果没有使用 BLAS 库,这应该不会超过 2 分钟,因此如果您珍惜时间,请使用 BLAS。

所以看来我必须安装 BLAS 进行优化, 但我不知道 BLAS 是什么,而且 windows 的 BLAS 安装指南很少而且很复杂。

  1. 我应该安装哪个 BLAS 库才能在 Window 中运行 gensim?
  2. 如果我安装了 BLAS 库,当我运行 gensim doc2vec 时,它会自动链接到 python 代码吗?或者我应该做些什么将其链接到 doc2vec 代码?

【问题讨论】:

    标签: python-2.7 word2vec gensim blas doc2vec


    【解决方案1】:

    gensim 的优化代码不仅需要 BLAS,还需要基于 Cython 代码的本地编译库。

    如果可能的话,这类工作应该在类 UNIX 系统 (Linux/MacOS) 上完成,因为这是大多数开源库开发、测试和使用最多的地方。因此,您将更接近主要开发人员的系统配置和更大的用户社区——这意味着默认安装说明更有可能“正常工作”,您遇到的任何问题更有可能在可找到的地方找到现有答案。

    但是,如果您被困在使用 Windows 上,Python 的“conda”发行版通常可以很好地在 Windows 上安装优化版本的关键库,因此它可能是一个不错的选择。我特别喜欢从 'miniconda' 变体开始,这样只有我明确需要的包才能安装到环境中。

    Miniconda installation instructionsgetting-started-guide 都很好。通常,一旦您处于 conda 环境中,您可以 conda install PACKAGENAME 获取主要的基础软件包,例如 numpyscipy,并且仍然选择 pip install PACKAGENAME 获取 conda 存储库中不存在的任何内容,或者不是最新的-date 在 conda 存储库中。 (有时即使使用基于conda 的环境,从pip 获取gensim 也是有意义的。)

    【讨论】:

      猜你喜欢
      • 2014-02-21
      • 1970-01-01
      • 1970-01-01
      • 2012-02-09
      • 1970-01-01
      • 1970-01-01
      • 2010-12-13
      • 2012-04-11
      相关资源
      最近更新 更多