【发布时间】:2013-12-15 07:41:08
【问题描述】:
我正在运行一个 Pig 作业,它使用 HBaseStorage 从 HBase(几列)加载大约 800 万行。作业成功完成并且似乎产生了正确的结果,但是当我查看作业跟踪器中的作业详细信息时,它说创建了 50 个地图任务,其中 28 个成功,22 个被杀死。减少运行良好。通过查看被杀死的地图任务的日志,对于我来说任务被杀死的原因没有什么明显的。事实上,成功和失败任务的日志实际上是相同的,并且这两个任务都需要一些合理的时间。为什么所有这些地图任务都被创建然后被杀死?这是正常的还是有问题的迹象?
【问题讨论】:
-
任务跟踪器说什么!?
标签: hadoop hbase apache-pig