【问题标题】:Mahout killed error [closed]Mahout杀死错误[关闭]
【发布时间】:2012-06-05 20:00:36
【问题描述】:

我在伪分布式 hadoop 安装上运行一个简单的 ItemSimilarityJob mahout 作业,该过程在一段时间后停止,只有消息被杀死:

12/06/05 21:04:52 INFO mapred.JobClient:  map 33% reduce 8% 
12/06/05 21:05:18 INFO mapred.JobClient:  map 36% reduce 8% 
12/06/05 21:05:30 INFO mapred.JobClient:  map 39% reduce 8% 
Killed

有人知道为什么会发生这种情况吗?我跑了几次,这总是发生,但在不同的阶段。

已解决:如果我的计算机进入休眠状态,它似乎会杀死所有 HADOOP 作业。

谢谢, 伊利亚

【问题讨论】:

  • 拍摄到黑暗中:内存不足?可以发一下任务日志吗?
  • 您可以将您的 slowstart 属性设置为 1.0 以帮助诊断问题出在哪里(映射或减少侧) - 但正如 @ThomasJungblut 所说,日志是最好的地方 - 发布什么的日志内容减速器任务的映射器以失败的状态(不是终止状态)结束 - 您应该能够在您的工作的作业跟踪器 Web UI 页面中找到这些
  • 它们很长吗?我应该看一些特定的部分吗?如果存在内存问题,我应该期待什么?奇怪的是,工作跟踪器说所有工作都成功了?!
  • 您确定这些日志记录的是失败的任务吗? Job Tracker 有一个错误列用于失败的 map/reduce 任务 - 这个列表是什么?
  • 请参阅第 152 和 155 页了解我在 Job Tracker Web UI 中所指的内容(错误列显示在第 155 页)-books.google.com/…

标签: hadoop mahout recommendation-engine


【解决方案1】:

让您的计算机进入睡眠状态并不会终止进程。问题是,当它醒来时,似乎工人很久没有回来报告,并且他们被认为是卡住了,所以被杀死了。是的,“修复”当然是不让它进入睡眠状态。

【讨论】:

    猜你喜欢
    • 2017-08-11
    • 1970-01-01
    • 1970-01-01
    • 2020-11-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-04-14
    • 2015-02-17
    相关资源
    最近更新 更多