使用 Thrift 运行 Hive Hook 时 YARN AM 容器错误答案

【问题标题】：YARN AM Container Error When Running Hive Hook with Thrift使用 Thrift 运行 Hive Hook 时 YARN AM 容器错误
【发布时间】：2014-04-02 14:53:00
【问题描述】：

我正在构建一个需要在 Hive SemanticAnalyzer 中运行 MapReduce 作业的工具。当我运行处理启动 Hive 驱动程序的自定义 java 程序时，MapReduce 作业运行良好。但是，当我尝试通过修改 HiveServer2 和 Hive JDBC（它可以很好地连接到我修改的服务器）来执行 Hook 时，MapReduce 作业失败并出现以下错误：

Application application_1395851979242_0009 failed 2 times due to AM Container for appattempt_1395851979242_0009_000002 exited with exitCode: 1 due to: Exception from container-launch:
org.apache.hadoop.util.Shell$ExitCodeException:
        at org.apache.hadoop.util.Shell.runCommand(Shell.java:464)
        at org.apache.hadoop.util.Shell.run(Shell.java:379)
        at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
        at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:195)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:283)
        at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:79)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908)
        at java.lang.Thread.run(Thread.java:662)

还有其他人在使用 YARN 时遇到过类似的错误吗？

【问题讨论】：

标签： java hadoop mapreduce hive hadoop-yarn

【解决方案1】：

我使用了命令：
yarn logs --applicationId myAppId
检索应用程序容器日志。

在那之后，我发现我缺少一些罐子。由于我正在处理的应用程序的性质（MR Jobs 从 Thrift 的 Hive Hook 启动），我必须编辑 MapReduce Job 配置以将 jars 包含在“tmpjars”设置中。

【讨论】：