Apache Spark 原生库答案

【问题标题】：Apache Spark Native LibrariesApache Spark 原生库
【发布时间】：2014-11-08 06:02:34
【问题描述】：

我最近能够构建具有本机 64 位支持的 Apache Hadoop 2.5.1。所以，我摆脱了烦人的本地库警告。

我正在尝试配置 Apache Spark。当我启动 spark-shell 时，出现同样的警告：

14/09/14 18:48:42 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

一些提示：

我不得不下载预构建的 2.4 版本的 Spark，因为仍然没有 Hadoop 2.5 和 Maven 的配置文件。

以下导出已添加到 spark-env.sh：

export HADOOP_CONF_DIR=/opt/hadoop-2.5.1/etc/hadoop

export SPARK_LIBRARY_PATH=/opt/hadoop-2.5.1/lib/native

不适用于 spark-shell 和 spark-submit。我的 Hadoop 本地安装配置为伪分布式（ResourceManager + YARN 支持）。

【问题讨论】：

【解决方案1】：

您应该将HADOOP_HOME/lib/native 添加到LD_LIBRARY_PATH：

export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

【讨论】：