【发布时间】:2017-07-28 10:32:51
【问题描述】:
我不想使用 TEZ 在 Hive 中生成的 DAG 计划,而是想使用我创建的自定义 DAG 计划。可能吗?如果是,谁能解释一下?
【问题讨论】:
标签: hive directed-acyclic-graphs tez
我不想使用 TEZ 在 Hive 中生成的 DAG 计划,而是想使用我创建的自定义 DAG 计划。可能吗?如果是,谁能解释一下?
【问题讨论】:
标签: hive directed-acyclic-graphs tez
如果您使用 Hive 运行查询,则不能使用自定义 DAG。如果您使用 API 对 Tez 应用程序进行低级编程,则可以。在此处查看高级文档:https://hortonworks.com/blog/expressing-data-processing-in-apache-tez/
类似这样的:
//Define DAG
DAG dag = new DAG();
Vertex map1 = new Vertex(MapProcessor.class)
and so on...
查看 apache 项目示例:https://git-wip-us.apache.org/repos/asf?p=tez.git;a=blob;f=tez-examples/src/main/java/org/apache/tez/examples/HashJoinExample.java
【讨论】: