Hadoop 任务未完成 - 如何调试？

Question

我有一个 3 节点 Hadoop 集群。我运行了一个 mapreduce 作业——两个节点（名称节点和一个数据节点）上的映射器正常完成——但 datanode2 上的映射器启动但大约半小时后超时。这很奇怪，因为这些事实：

1. 其他两个节点上的同类映射器需要 1 到 2 分钟才能完成
2. 所有三个节点都使用相同的硬件
3. datanode2 上的映射器占用了接近 100% 的 CPU，因此它们实际上正在运行。

知道是什么原因造成的或如何调试它吗？

Answer 1

根据 Hadoop 架构，您可以检查 DN-2 的 DataNode 日志，如果 DN-2 的 CPU 利用率为 100%，则可以确定您的程序无法在 DN-2 中运行。