Apache Spark - OpenBlas 和 Lapack 在 Ubuntu 20.04 中无法运行答案

【问题标题】：Apache Spark - OpenBlas and Lapack are not working in Ubuntu 20.04Apache Spark - OpenBlas 和 Lapack 在 Ubuntu 20.04 中无法运行
【发布时间】：2022-09-29 15:17:34
【问题描述】：

所以，我在独立模式下使用 spark 3.1.3，有 16 个工作人员我已经完成了 Spark 文档中描述的所有必要步骤，但本机库仍然无法正常工作。我在 pom 文件中包含了以下依赖项：

<dependency>
   <groupId>com.github.fommil.netlib</groupId>
   <artifactId>all</artifactId>
   <version>1.1.2</version>
   <type>pom</type>
</dependency>

我已经完成了安装：

sudo apt-get install libgfortran5
sudo apt-get install libatlas3-base libopenblas-base
sudo update-alternatives --config libblas.so
sudo update-alternatives --config libblas.so.3
sudo update-alternatives --config liblapack.so
sudo update-alternatives --config liblapack.so.3

尽管我得到了“更新替代方案：错误：没有替代方案...”对于上述所有替代方案。

我仍然收到 Spark 的警告：

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS

如果我尝试： System.out.println(BLAS.getInstance().getClass().getName());我得到：

com.github.fommil.netlib.F2jBLAS

我可以使用 libgfortran5，因为 libgfortran 在 Ubuntu 20.04 中不能直接使用。是这个原因吗？ libgfortran5 不会覆盖以前的版本吗？

标签： apache-spark ubuntu-20.04 lapack openblas netlib-java

【解决方案1】：

通过从此处https://gist.github.com/sakethramanujam/faf5b677b6505437dbdd82170ac55322 在所有工作人员和主机上安装 gcc-6-base 和 libgfortran3 解决了问题。

【讨论】：