【发布时间】:2012-06-05 20:00:36
【问题描述】:
我在伪分布式 hadoop 安装上运行一个简单的 ItemSimilarityJob mahout 作业,该过程在一段时间后停止,只有消息被杀死:
12/06/05 21:04:52 INFO mapred.JobClient: map 33% reduce 8%
12/06/05 21:05:18 INFO mapred.JobClient: map 36% reduce 8%
12/06/05 21:05:30 INFO mapred.JobClient: map 39% reduce 8%
Killed
有人知道为什么会发生这种情况吗?我跑了几次,这总是发生,但在不同的阶段。
已解决:如果我的计算机进入休眠状态,它似乎会杀死所有 HADOOP 作业。
谢谢, 伊利亚
【问题讨论】:
-
拍摄到黑暗中:内存不足?可以发一下任务日志吗?
-
您可以将您的 slowstart 属性设置为 1.0 以帮助诊断问题出在哪里(映射或减少侧) - 但正如 @ThomasJungblut 所说,日志是最好的地方 - 发布什么的日志内容减速器任务的映射器以失败的状态(不是终止状态)结束 - 您应该能够在您的工作的作业跟踪器 Web UI 页面中找到这些
-
它们很长吗?我应该看一些特定的部分吗?如果存在内存问题,我应该期待什么?奇怪的是,工作跟踪器说所有工作都成功了?!
-
您确定这些日志记录的是失败的任务吗? Job Tracker 有一个错误列用于失败的 map/reduce 任务 - 这个列表是什么?
-
请参阅第 152 和 155 页了解我在 Job Tracker Web UI 中所指的内容(错误列显示在第 155 页)-books.google.com/…
标签: hadoop mahout recommendation-engine