【问题标题】:Hive - How to know which execution engine I am currently usingHive - 如何知道我当前使用的是哪个执行引擎
【发布时间】:2018-02-26 06:25:45
【问题描述】:

我想以这种方式自动化我的 Hive ETL 工作流程 我需要基于执行引擎(Tez 或 MR) 因为内存限制。

请您帮忙,因为我想在我的整个工作流程之间交叉检查我目前正在处理的执行引擎。

提前致谢。

【问题讨论】:

    标签: hadoop configuration hive tez


    【解决方案1】:

    Hive 执行引擎由hive.execution.engine 属性控制。可以是以下任意一种:

    • mr(Map Reduce,默认)
    • tez(Tez 执行,仅适用于 Hadoop 2)
    • spark(Spark 执行,用于 Hive 1.1.0 及更高版本)。

    可以使用 hive/beeline cli 读取和更新属性

    • 供阅读 - SET hive.execution.engine;
    • 用于更新 - SET hive.execution.engine=tez;

    如果您想以编程方式获取此值,则必须选择支持多种方式的 HiveClient,如 JDBC、Java、Python、PHP、Ruby、C++ 等。

    参考文献

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-05-28
      • 1970-01-01
      • 2011-05-29
      • 2019-03-07
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多