Yarn Nodemanager 未在 Windows 二进制文件上启动答案

【问题标题】：Yarn Nodemanager not starting on windows binariesYarn Nodemanager 未在 Windows 二进制文件上启动
【发布时间】：2015-05-27 18:05:33
【问题描述】：

我已经在 windows x64 机器上编译了 hadoop 二进制文件。我还在路径中构建了本机源代码 hadoop-2.6.0-src.tar\hadoop-2.6.0-src\hadoop-2.6.0-src\hadoop-common-project\hadoop-common\src\main\native

并将对应的dll和winutils放到我的bin文件夹中...

dfs 开始正常... 但是 nodemanager 纱线组件没有启动。它的启动失败并出现以下错误...

15/03/24 17:28:22 FATAL nodemanager.NodeManager: Error starting NodeManager
java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Native Method)
        at org.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)
        at org.apache.hadoop.fs.FileUtil.canRead(FileUtil.java:977)
        at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:187)
        at org.apache.hadoop.util.DiskChecker.checkDirAccess(DiskChecker.java:174)
        at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:108)
        at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.testDirs(DirectoryCollection.java:292)
        at org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection.checkDirs(DirectoryCollection.java:231)
        at org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.checkDirs(LocalDirsHandlerService.java:355)
        at org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService.serviceInit(LocalDirsHandlerService.java:160)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.nodemanager.NodeHealthCheckerService.serviceInit(NodeHealthCheckerService.java:48)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceInit(NodeManager.java:253)
        at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:462)
        at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:509)
15/03/24 17:28:22 INFO impl.MetricsSystemImpl: Stopping NodeManager metrics system...
15/03/24 17:28:22 INFO impl.MetricsSystemImpl: NodeManager metrics system stopped.
15/03/24 17:28:22 INFO impl.MetricsSystemImpl: NodeManager metrics system shutdown complete.
15/03/24 17:28:22 INFO nodemanager.NodeManager: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NodeManager at ing5nb014
************************************************************/

【问题讨论】：

标签： windows hadoop hadoop-yarn

【解决方案1】：

您还需要构建 hadoop-hdfs 模块中的本机代码。确保所有内容都正确链接的最简单方法是尝试构建整个 Hadoop Maven 项目。您需要下载 Hadoop 源 tar 并在 tar 的根文件夹中运行 mvn clean package -Pdist,native-win -DskipTests -Dtar，而不仅仅是构建本机模块。假设您的构建完成，在 hadoop-dist/target/hadoop-2.6.0 文件夹中，您将拥有一个完整的 Hadoop 发行版，其中已正确链接本机二进制文件。

请参阅本指南this guide I wrote recently，了解如何在 Windows 上构建和运行 Hadoop。

【讨论】：