容器在 mapreduce 任务期间以非零退出代码 1 错误退出答案

【问题标题】：Container exited with a non-zero exit code 1 error during mapreduce task容器在 mapreduce 任务期间以非零退出代码 1 错误退出
【发布时间】：2016-11-04 13:10:02
【问题描述】：

在 hadoop 中执行 jar 时，出现以下错误：

16/11/04 18:32:59 INFO mapreduce.Job: Task Id : attempt_1478261728730_0005_m_000000_2, Status : FAILED
Exception from container-launch.
Container id: container_1478261728730_0005_01_000004
Exit code: 1
Stack trace: ExitCodeException exitCode=1: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:715)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)


Container exited with a non-zero exit code 1

16/11/04 18:33:09 INFO mapreduce.Job:  map 100% reduce 0%

这是应用程序日志：

Native code library failed to load.
java.lang.UnsatisfiedLinkError: no opencv_java2411 in java.library.pathopencv_java2411

我不知道这是什么意思，请问有人可以帮忙吗？

【问题讨论】：

使用应用程序日志更新您的帖子
我已经更新了帖子..@KrishnaChaitanyaReddy

标签： hadoop mapreduce hipi

【解决方案1】：

您的集群节点上缺少 opencv。有关如何处理此问题的所有详细信息，请参阅here。

长话短说，您需要在执行程序上安装 opencv。您不能以可移植的方式将其真正编译到工作的 .jar 中，因为它是 C 而不是 Java 代码。

更新：请注意，您的 Hadoop 执行程序上的环境由您的 hadoop-env.sh 设置。所以它需要包含如下一行：

JAVA_LIBRARY_PATH=${JAVA_LIBRARY_PATH}:/etc/opencv/lib

【讨论】：

是的，我知道了，我已经在加载 opencv 本机路径，但不知何故无法加载它。 @Armin Braun
@Mahek 然后 3 个问题 :) 1. 你安装了什么版本的 OpenCV 你安装了吗？ 2. 你对所有的执行者都这样做了吗？ 3. 你是如何安装它/确保它被加载的？
OpenCV-2.4.11 我已经在这里发布了关于加载库的问题stackoverflow.com/questions/40435812/…@Armin Braun
@Mahek 见上面的编辑，您的hadoop-env.sh 中可能缺少它