【问题标题】:Why are map tasks killed for no apparent reason?为什么地图任务会无缘无故地被杀死?
【发布时间】:2013-12-15 07:41:08
【问题描述】:

我正在运行一个 Pig 作业,它使用 HBaseStorage 从 HBase(几列)加载大约 800 万行。作业成功完成并且似乎产生了正确的结果,但是当我查看作业跟踪器中的作业详细信息时,它说创建了 50 个地图任务,其中 28 个成功,22 个被杀死。减少运行良好。通过查看被杀死的地图任务的日志,对于我来说任务被杀死的原因没有什么明显的。事实上,成功和失败任务的日志实际上是相同的,并且这两个任务都需要一些合理的时间。为什么所有这些地图任务都被创建然后被杀死?这是正常的还是有问题的迹象?

【问题讨论】:

  • 任务跟踪器说什么!?

标签: hadoop hbase apache-pig


【解决方案1】:

这听起来像是 Hadoop 中的推测执行。它在多个节点上运行相同的任务,并在至少一个节点完成时终止它们。看这本书的解释:https://www.inkling.com/read/hadoop-definitive-guide-tom-white-3rd/chapter-6/task-execution

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-06-24
    相关资源
    最近更新 更多