在 Tez ui 中看不到任何 dag答案

【问题标题】：can not see any dags in Tez ui在 Tez ui 中看不到任何 dag
【发布时间】：2016-05-27 13:05:07
【问题描述】：

我可以在 Tez 上运行 hive，但在 tez ui 中看不到任何作业。

它会让我发疯！

并且时间线服务器中的用户和名称为空

配置很糟糕： tez-site.xml

<property>
      <name>tez.history.logging.service.class</name>
      <value>org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService</value>
</property>
<property>
       <description>URL for where the Tez UI is hosted</description>
       <name>tez.tez-ui.history-url.base</name>
       <value>http://10.0.0.51:8080/tez-ui</value>
</property>

和yarn-site.xml

<property>
  <name>yarn.timeline-service.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.timeline-service.hostname</name>
  <value>0.0.0.0</value>
</property>
<property>
  <name>yarn.timeline-service.http-cross-origin.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.system-metrics-publisher.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.timeline-service.generic-application-history.enabled</name>
  <value>true</value>
</property>
<property>
   <name>yarn.timeline-service.webapp.address</name>
   <value>${yarn.timeline-service.hostname}:8188</value>
</property>
<property>
  <name>yarn.timeline-service.webapp.https.address</name>
  <value>${yarn.timeline-service.hostname}:2191</value>
</property>

还有网址：

http://10.0.0.51:8188/ws/v1/timeline/TEZ_DAG_ID  
http://10.0.0.51:8188/ws/v1/timeline/TEZ_APPLICATION_ATTEMPT  
http://10.0.0.51:8188/ws/v1/timeline/TEZ_APPLICATION

所有的，我只是在下面得到相同的回复：

{
entities: [ ]
}

【问题讨论】：

我觉得你应该在你的clinet上更新yarn-site.xml，和RM一样

标签： timeline tez

【解决方案1】：

在我的情况下发现这是 YARN ACL 问题。所以以下对我有帮助：

yarn.acl.enable = false
or
yarn.admin.acl = activity_analyzer,yarn,dr.who,admin

作为奖励，收集了 HDP 3.1 + TEZ 0.9.2 的完整配置：

纱线配置：

yarn.timeline-service.enabled = true
yarn.acl.enable = false
yarn.admin.acl = activity_analyzer,yarn,dr.who,admin
yarn.timeline-service.webapp.address = <host>:8188
yarn.timeline-service.version = 2,0f
yarn.timeline-service.hostname = <host>
yarn.timeline-service.http-cross-origin.enabled = true
yarn.timeline-service.http-cross-origin.allowed-origins = *
yarn.resourcemanager.system-metrics-publisher.enabled = true
yarn.timeline-service.entity-group-fs-store.group-id-plugin-classes = org.apache.tez.dag.history.logging.ats.TimelineCachePluginImpl

TEZ 配置：

yarn.timeline-service.enabled = true
tez.tez-ui.history-url.base = http://<host>/tez-ui/
tez.am.tez-ui.history-url.template = __HISTORY_URL_BASE__?viewPath=/#/tez-app/__APPLICATION_ID__
tez.history.logging.service.class = org.apache.tez.dag.history.logging.ats.ATSV15HistoryLoggingService
tez.dag.history.logging.enabled = true
tez.am.history.logging.enabled = true
tez.allow.disabled.timeline-domains = true

Hive 配置：

hive_timeline_logging_enabled = true
hive.exec.pre.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook
hive.exec.post.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook,org.apache.atlas.hive.hook.HiveHook
hive.exec.failure.hooks = org.apache.hadoop.hive.ql.hooks.ATSHook

HDFS 配置：

hadoop.http.filter.initializers = org.apache.hadoop.security.HttpCrossOriginFilterInitializer

【讨论】：

嗨@Pavel。我想保留yarn.acl.enable = true，但 tez-ui 未能显示。有什么建议吗？谢谢
感谢您提供所有必要的配置！这对我也适用于yarn.acl.enable = true。

【解决方案2】：

据我在 Timeline Server UI 中看到的，您没有关于作业的信息。在 Timeline 和 Tez UI 中，您看不到有关在 Timeline Server 启用之前运行的作业的信息，因为 Timeline Server 使用 LevelDB 存储并且应该在作业运行期间发布信息。

【讨论】：