【问题标题】:Installing numpy-1.7.1 with MKL-10.3 using gcc-4.7.2 on linux在 Linux 上使用 gcc-4.7.2 安装 numpy-1.7.1 和 MKL-10.3
【发布时间】:2013-08-01 01:51:52
【问题描述】:

几天来,我一直在尝试在python-2.7.5 上使用gcc-4.7.2 在linux-2.6.18-308.24.1.el5 系统上安装numpy-1.7.1 和MKL-10.3。我不久前使用相同的编译器成功编译了R-3.0.1 和MKL。

我将numpy-1.7.1中的site.cfg文件修改如下:

[mkl]
library_dirs = /sb/software/libraries/MKL/10.3/lib/intel64
include_dirs = /sb/software/libraries/MKL/10.3/include
mkl_libs = mkl_rt
lapack_libs =

当我调用python setup.py install 时,它会找到BLAS 和LAPACK 的MKL 库。到目前为止,没有任何投诉或警告。一旦我尝试使用 numpy 做某事,它就会崩溃。

 $ python
 Python 2.7.5 (default, Jul 31 2013, 16:54:43)
 [GCC 4.7.2] on linux2
 Type "help", "copyright", "credits" or "license" for more information.
 >>> import numpy
 >>> numpy.test('full')
 Running unit tests for numpy
 NumPy version 1.7.1
 NumPy is installed in /sb/project/mjd-574/ndejay/modules/python-2.7.5/lib/python2.7/site-packages/numpy
 Python version 2.7.5 (default, Jul 31 2013, 16:54:43) [GCC 4.7.2]
 nose version 1.3.0
 .................python: symbol lookup error: /sb/software/libraries/MKL/10.3/lib/intel64/libmkl_intel_thread.so: undefined symbol: omp_get_num_procs

这似乎是一个已知问题 (link to source),即 libiomp5 未由 libmkl_rt 加载。当我将libiomp5 的路径添加到site.cfg 中的library_dirs 变量时,numpy 无法检测到所有 MKL 库。

我什至尝试了以下方法来强制 gcc 使用自己的 openMP 库/标题,但无济于事。

CFLAGS='-fopenmp -lgomp' python setup.py install

如果您能就此问题提供任何帮助或建议,我将不胜感激。不要犹豫,让我知道我在此线程中省略了关键信息。

编辑:我在 x86_64 平台上运行。

【问题讨论】:

  • 您是否使用mkl 而不使用icc? libiomp5 在 $INTEL_PATH/intel/lib/ 中,我没有看到它链接。
  • 我没有使用icc。你认为问题出在哪里?我最近使用gcc 编译了R 和MKL,没有任何问题。
  • 这不太可能是问题,但libiomp5 是我通常会错过的东西——包括那个目录应该特别有帮助。

标签: python numpy openmp intel-mkl


【解决方案1】:

将libiomp5 的路径添加到LD_MODULES_PATH 环境。我目前使用的服务器使用modules 库来管理服务器范围的应用程序和库。我以前只使用了 独立 MKL/10.3 模块,但用它代替了 ifort_icc/13.0(其中还包含 MKL)添加了与 icc 相关的路径到 LD_MODULES_PATH。使用与上述相同的site.cfg 似乎有效,numpy 运行测试套件。

我不知道这是否是最优雅的解决方案,但它现在可以解决问题。

【讨论】:

  • 你必须重新编译吗?我遇到了完全相同的问题。我已将 LD_LIBRARY_PATH 设置为查看两个 lib 文件夹均无济于事。 LD_MODULES_PATH 似乎没有在我们的系统上设置(它也在使用模块库)。
【解决方案2】:

需要添加libomp5的路径:composer_xe_install_path/compiler/lib/intel64 到您的 LD_LIBRARY_PATH。对我来说,路径看起来像:/opt/apps/intel/16.1/compilers_and_libraries_2016.1.150/linux/compiler/lib/intel64

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2018-01-27
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多