字数未在 Cloudera 中运行答案

【问题标题】：wordcount not running in Cloudera字数未在 Cloudera 中运行
【发布时间】：2016-08-11 17:26:00
【问题描述】：

我在 Amazon EC2 的 Linux RHEL 7.2 实例中安装了 Cloudera 5.8。我已使用 SSH 登录，我正在尝试使用以下命令运行 wordcount 示例以测试 mapreduce 操作：

 hadoop jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount archivo.txt output

问题是 wordcount 程序被阻塞并且它不产生输出。仅提示以下内容：

16/08/11 13:10:02 INFO client.RMProxy: Connecting to ResourceManager at ip-172-31-22-226.ec2.internal/172.31.22.226:8032

16/08/11 13:10:03 INFO input.FileInputFormat: Total input paths to process : 1

16/08/11 13:10:03 INFO mapreduce.JobSubmitter: number of splits:1

16/08/11 13:10:04 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1470929244097_0007

16/08/11 13:10:04 INFO impl.YarnClientImpl: Submitted application application_1470929244097_0007

16/08/11 13:10:04 INFO mapreduce.Job: The url to track the job: http://ip-172-31-22-226.ec2.internal:8088/proxy/application_1470929244097_0007/

16/08/11 13:10:04 INFO mapreduce.Job: Running job: job_1470929244097_0007

然后因为“正在运行作业”而被阻止。在此之后我必须按 Ctrl+C 来解除阻塞，它不会产生输出。

有人知道为什么吗？我认为这可能是一个配置问题，我是 DataNodes 的新手等等。

非常感谢。

【问题讨论】：

标签： hadoop amazon-ec2 mapreduce cloudera

【解决方案1】：

看起来没有资源（map 或 reducer 插槽），作业正在等待资源。您可以检查作业状态。

http://ip-172-31-22-226.ec2.internal:8088

【讨论】：

为了浏览该 URL，我必须更改 EC2 仪表板中的安全组以允许 8088 端口。该页面的结果是我有 4 个应用程序待处理，但 0 个应用程序正在运行，0 个已完成。为什么会这样？
正如预期的作业正在等待资源...检查资源管理器日志，您会发现更多信息。
感谢您的回答。在谷歌我找不到资源管理器日志在哪里。我找到了完成作业的命令（yarn logs -applicationId applicationId）但不适用于空闲作业......请问你在哪里看到日志？？
日志将在 /logs/yarn-resourcemanager*.log 下
再次感谢。我认为问题在于权限。我在路径 /var/log/ 中找到了 hadoop 日志。我没有在纱线日志路径中找到纱线日志，但在 /var/log/hadoop-mapreduce 中是的，例如。该日志称为（粗略地说）hadoop-cmf-yarn-JOBHISTORY-ip-172-xx-xx-xxx.ec2.internal.log.out。在其中我可以看到这一行：org.apache.hadoop.yarn.exceptions.YarnRuntimeException：创建完成目录时出错：[hdfs://ip-xxx-xx-xx-xxx.ec2.internal:8020/user/history/完毕]。它无法创建“完成”目录，因为它没有权限。有什么想法吗？