【发布时间】:2016-01-04 14:40:57
【问题描述】:
当在 Hortonworks 上的 Hue 中成功运行 HiveQL 查询(使用 TEZ 执行引擎)时,该进程在“Hue Job Browser”和“Hadoop ResourceManager UI”下仍标记为“Running”。它应该这样做是为了等待新的输入还是无法终止?
我的设置:
- HortonWorks HDP-2.3.2.9-2950 在 3 台 RH Linux 7 机器上运行
- 色相 3.9.0
- Hive 1.2.1.2.3
- Oozie 4.2.0.2.3
【问题讨论】:
-
Hive 的哪个执行引擎:MapReduce 还是 TEZ?因为 TEZ 在 YARN 容器上保留了几秒钟的租约,所以在按顺序执行多个查询时避免不必要的分配/解除分配操作(参见 tez-site.xml 中的
tez.am.container.reuse.enabled、tez.am.container.idle.release-timeout-min.millis、tez.am.container.reuse.rack-fallback.enabled等) -
谢谢参孙!是否可以在任何地方调整此“超时”? (我也根据你的回答写了最后的答案)
-
您可以在 tez-site.xml 中静态更改这些
tez.am.container.*属性;或者您可以在 Hive 脚本中动态重置它们,例如set tez.am.container.reuse.enabled =false ;(但我不确定它是否会立即应用于已分配的容器,因为 A.M. 已经启动并运行)
标签: hive oozie hortonworks-data-platform hue resourcemanager