以 MapReduce 开始的作业被杀死。为什么？答案

【问题标题】：Job started with MapReduce gets killed .Why?以 MapReduce 开始的作业被杀死。为什么？
【发布时间】：2016-02-05 18:45:31
【问题描述】：

我尝试使用 Oozie 开始一个 wordount(MapReduce) 作业。使用 normal(CMD: "hadoop jar *.jar mainClass input output") 作业开始一切都很好。当前的 oozie 配置是：

/ApplicationDIR/lib/WordCount.jar
/ApplicationDIR/workflow.xml
/文本输入

/文本输出

工作流.xml

<action name='wordcount'>
    <map-reduce>
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <prepare>
            <delete path="${outputDir}" />
        </prepare>
        <configuration>

            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
            <property>
                <name>mapred.mapper.class</name>
                <value>HadoopJobs.wordCound.WordCountMR.Map</value>
            </property>
            <property>
                <name>mapred.reducer.class</name>
                <value>HadoopJobs.wordCound.WordCountMR.Reduce</value>
            </property>
            <property>
                <name>mapreduce.input.fileinputformat.inputdir</name>
                <value>${inputDir}</value>
            </property>
            <property>
                <name>mapreduce.output.fileoutputformat.outputdir</name>
                <value>${outputDir}</value>
            </property>
        </configuration>
    </map-reduce>
    <ok to='end'/>
    <error to='kill'/>
</action>

<kill name='kill'>
    <message>ERROR: [${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>

<end name='end'/>

job.properties

nameNode=hdfs://192.168.1.110:8020    
jobTracker=192.168.1.110:8050
queueName=default

oozie.wf.application.path=${nameNode}/tmp/testDIR/wordcount-example/ApplicationDIR
inputDir=hdfs://192.168.1.110:8020/tmp/testDIR/wordcount-example/Text-IN
outputDir=hdfs://192.168.1.110:8020/tmp/testDIR/wordcount-example/Text-OUT

命令：

oozie job -oozie http://192.168.1.110:11000/oozie/ -config job.properties -run

结果：

Job gets killed

--更新--

Oozie 日志： https://docs.google.com/document/d/1BKnv4dSEscRqpzKLhOjUaryveSP3q0454uL_5_xVPdk/edit?usp=sharing

【问题讨论】：

你能分享 oozie 日志和作业跟踪日志吗
@KSNidhin 我添加了 Oozie 日志。我也检查了它们，但没什么特别的。你能告诉我在哪里可以找到 JobTracker 日志吗？
为此，您必须打开 JT UI 并搜索您将从 OOZIE UI 获得的 JOB Action IF，然后使用 Analysis TAB 检查获取 Job Tracker Job，或者您可以手动搜索 JOB本地 mapred data.dir 位置中的 id 以获取错误详细信息
或者使用 YARN 命令行：yarn application -status application_1454700174038_0001 然后yarn logs -applicationId application_1454700174038_0001 （旁注：“job”前缀是遗留的东西，YARN 现在使用“application”）

标签： java hadoop mapreduce hdfs oozie

【解决方案1】：

我通过下载 Cloudera CDH 解决了这个问题。他们有 HUE ，它有一个非常好的用户界面，我可以在那里详细地看到我的错误。总的来说，当我从工作流 xml 中删除以下部分时，我解决了我的错误：

            <property>
                <name>mapred.mapper.class</name>
                <value>HadoopJobs.wordCound.WordCountMR.Map</value>
            </property>
            <property>
                <name>mapred.reducer.class</name>
                <value>HadoopJobs.wordCound.WordCountMR.Reduce</value>
            </property>

【讨论】：