我可以将 Anaconda 提供的 MKL 库与 Spark 一起使用吗答案

【问题标题】：Can I use MKL libraries provided by Anaconda with Spark我可以将 Anaconda 提供的 MKL 库与 Spark 一起使用吗
【发布时间】：2016-10-05 16:10:14
【问题描述】：

我想将 Anaconda 提供的 MKL 库与 Spark 一起使用。我安装了 libgfortran

conda install libgfortran

链接库

ln -s $PATH_TO_ANACONDA/lib/libmkl_rt.so  $PATH_TO_ANACONDA/lib/liblapack.so.3
ln -s  $PATH_TO_ANACONDA/lib/libmkl_rt.so $ PATH_TO_ANACONDA/lib/libblas.so.3

并将 PATH_TO_ANACONDA/lib 放在 LD_LIBRARY_PATH 上

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$PATH_TO_ANACONDA/lib

但是当我运行 Spark ALS example 时，我看到了

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeSystemLAPACK
WARN LAPACK: Failed to load implementation from: com.github.fommil.netlib.NativeRefLAPACK

所以我认为它不起作用。这有什么明显的问题吗？

【问题讨论】：

标签： apache-spark anaconda intel-mkl netlib

【解决方案1】：

您可以使用任何库，只要将其加载到节点即可。将 --packages 与您想使用的库一起使用

【讨论】：