【问题标题】:What does the input-events tag in coordinator.xml do?coordinator.xml 中的 input-events 标签有什么作用?
【发布时间】:2020-01-22 07:56:41
【问题描述】:

我正在尝试理解 coordinator.xml,但无法理解 input-events 标记的作用。请您帮助我理解,何时触发此工作流。

<coordinator-app name="MY_APP" frequency="5" start="2009-02-01T00:00Z" end="2009-02-07T00:00Z" timezone="UTC" xmlns="uri:oozie:coordinator:0.1">
   <datasets>
      <dataset name="input1" frequency="5" initial-instance="2009-01-01T00:00Z" timezone="UTC">
         <uri-template>hdfs://localhost:9000/tmp/revenue_feed/${YEAR}/${MONTH}/${DAY}/${HOUR}/${MINUTE}</uri-template>
      </dataset>
   </datasets>
   <input-events>
      <data-in name="coordInput1" dataset="input1">
          <start-instance>${coord:minutes(-10)}</start-instance>
          <end-instance>${coord:current(-5)}</end-instance>
      </data-in>
   </input-events>
   <action>
      <workflow>
         <app-path>hdfs://localhost:9000/tmp/workflows</app-path>
      </workflow>
   </action>     
</coordinator-app>

【问题讨论】:

    标签: hadoop scheduler oozie oozie-coordinator


    【解决方案1】:

    &lt;input-events&gt; 通过使用&lt;start-instance&gt;&lt;end-instance&gt; 提供一系列数据集实例来定义应考虑运行哪些数据集。这些数据集实例在您的 &lt;dataset&gt; 块中定义。

    ${coord:current(0)} 是时间最接近但不晚于协调器标称时间的数据集。 ${coord:current(-1)} 指的是${coord:current(0)} 之前的数据集。

    我不确定您的示例是否正确,因为它使用了${coord:minutes()}。我相信&lt;input-events&gt; 内部只支持current(n)latest(n)。即使支持分钟(n),您的范围看起来也不正确,因为您的开始和结束间隔是向后的。也就是说,如果您的数据集频率为 5 分钟,coord:minutes(-10)coord:current(-5) 更接近现在。

    根据我的经验,这是 Oozie 中最复杂的主题,我自己还没有掌握这个概念。我推荐 O'Reilly Media 的书Apache Oozie。它将为您提供有关此主题的更多详细信息。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2013-04-24
      • 2011-05-26
      • 2013-07-07
      • 2014-10-11
      • 2011-09-29
      • 1970-01-01
      • 1970-01-01
      • 2017-05-30
      相关资源
      最近更新 更多