hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类答案

【问题标题】：hadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicablehadoop WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 在适用的情况下使用内置 java 类
【发布时间】：2017-04-28 06:59:37
【问题描述】：

在 Windows 7 64 位上运行 hadoop 时，我遇到了这个问题：

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
WARN common.Util: Path /hadoop-2.6.5/data/namenode should be specified as a URI in configuration files. Please update hdfs configuration.
WARN common.Util: Path /hadoop-2.6.5/data/namenode should be specified as a URI in configuration files

如何解决这些警告？

【问题讨论】：

可能重复：stackoverflow.com/questions/19943766/…
Hadoop "Unable to load native-hadoop library for your platform" warning的可能重复
我相信 OP 在 Windows 7 上运行它。上面的链接都指向 CentOS、Ubuntu 等中的解决方案。
我同意 Bookamp。以上所有链接都是非 Windows 特定的。我也面临同样的问题。我不想从 hadoop 源代码构建。我下载了 hadoop 二进制文件（2.8.1 tar gz）并尝试使用 cygwin 在 Windows 7（64 位）上运行，但遇到了同样的错误。似乎 IO Native 库在这里是一个问题。我真的不能从二进制文件中运行吗？我不想从源代码构建，因为它有很多其他 SDK 依赖项。

标签： windows hadoop path warnings

【解决方案1】：

没有适用于 Windows 的原生 hadoop 库（请参阅Native Libraries Guide，因此警告是预期的，它只是一个警告，而不是错误。同样适用于 Mac OS X 环境，也没有提供原生库。

如果你想抑制WARN，只需编辑$HADOOP_CONF_DIR/log4j.properties（通常类似于etc/hadoop/log4j.properties）并添加以下内容：

log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR

从现在开始只记录错误（而不是警告）。

【讨论】：

你读过这篇Linux 上的Hadoop 包括可选的Native IO 支持。然而 Native IO 在 Windows 上是强制性的，没有它你将无法让你的安装工作。您必须遵循 BUILDING.txt 中的所有说明，以确保正确构建原生 IO 支持。从这里wiki.apache.org/hadoop/Hadoop2OnWindows