【问题标题】:Can we impose custom DAG plan over generated DAG plan in TEZ? If possible, How?我们可以将自定义 DAG 计划强加于 TEZ 中生成的 DAG 计划吗?如果可能,如何?
【发布时间】:2017-07-28 10:32:51
【问题描述】:

我不想使用 TEZ 在 Hive 中生成的 DAG 计划,而是想使用我创建的自定义 DAG 计划。可能吗?如果是,谁能解释一下?

【问题讨论】:

    标签: hive directed-acyclic-graphs tez


    【解决方案1】:

    如果您使用 Hive 运行查询,则不能使用自定义 DAG。如果您使用 API 对 Tez 应用程序进行低级编程,则可以。在此处查看高级文档:https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/

    类似这样的:

    //Define DAG
    DAG dag = new DAG();
    Vertex map1 = new Vertex(MapProcessor.class) 
    and so on...
    

    查看 apache 项目示例:https://git-wip-us.apache.org/repos/asf?p=tez.git;a=blob;f=tez-examples/src/main/java/org/apache/tez/examples/HashJoinExample.java

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-01-18
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多