【发布时间】:2018-02-26 06:25:45
【问题描述】:
我想以这种方式自动化我的 Hive ETL 工作流程 我需要基于执行引擎(Tez 或 MR) 因为内存限制。
请您帮忙,因为我想在我的整个工作流程之间交叉检查我目前正在处理的执行引擎。
提前致谢。
【问题讨论】:
标签: hadoop configuration hive tez
我想以这种方式自动化我的 Hive ETL 工作流程 我需要基于执行引擎(Tez 或 MR) 因为内存限制。
请您帮忙,因为我想在我的整个工作流程之间交叉检查我目前正在处理的执行引擎。
提前致谢。
【问题讨论】:
标签: hadoop configuration hive tez
Hive 执行引擎由hive.execution.engine 属性控制。可以是以下任意一种:
mr(Map Reduce,默认)tez(Tez 执行,仅适用于 Hadoop 2)spark(Spark 执行,用于 Hive 1.1.0 及更高版本)。可以使用 hive/beeline cli 读取和更新属性
SET hive.execution.engine;
SET hive.execution.engine=tez;
如果您想以编程方式获取此值,则必须选择支持多种方式的 HiveClient,如 JDBC、Java、Python、PHP、Ruby、C++ 等。
参考文献
【讨论】: