如何为前一天配置 Oozie 协调器数据集答案

【问题标题】：How to configure Oozie coordinator dataset for previous day如何为前一天配置 Oozie 协调器数据集
【发布时间】：2016-08-18 01:50:34
【问题描述】：

我想根据上一日期控制文件的可用性运行工作流。我的目录中的日期格式是 ${basePath}/YYYYMMdd/00/_Complete。我想检查我的 00 中的 _Complete 文件。我的作业将根据前一天的数据每天运行。我尝试了类似问题中提供的选项但仍然无法正常工作。例如，当我针对具有以下值的同一天数据对其进行测试时，它正在工作，但不适用于 (-1) 选项。 URI-TEMPLATE 格式是否有任何限制，这意味着我们是否需要将其设置为固定格式 path/${YEAR}${$MONTH}${DAY}/Complete 请帮忙。

<instance>${coord:current(0)}</instance>

这是我的协调员工作的试运行输出。

    ***coordJob after parsing: ***
<coordinator-app xmlns="uri:oozie:coordinator:0.1" name="my_Scheduler_5f" frequency="1" start="2016-08-17T23:40Z" end="2016-08-19T23:45Z" timezone="America/Los_Angeles" freq_timeunit="DAY" end_of_duration="NONE">
  <controls>
    <timeout>30</timeout>
  </controls>
  <input-events>
    <data-in name="coordInput_1" dataset="input1">
      <dataset name="input1" frequency="1" initial-instance="2016-08-17T00:00Z" timezone="America/Los_Angeles" freq_timeunit="DAY" end_of_duration="NONE">
        <uri-template>${nameNode}/myHdfsPath/Finalpath1/${YEAR}${MONTH}${DAY}/00/</uri-template>
        <done-flag>_Complete</done-flag>
      </dataset>
      <instance>${coord:current(-1)}</instance>
    </data-in>
    <data-in name="coordInput_2" dataset="input2">
      <dataset name="input2" frequency="1" initial-instance="2016-08-17T23:00Z" timezone="America/Los_Angeles" freq_timeunit="DAY" end_of_duration="NONE">
        <uri-template>${nameNode}/myHdfsPath/Finalpath2/${YEAR}${MONTH}${DAY}/00/</uri-template>
        <done-flag>_Complete</done-flag>
      </dataset>
      <instance>${coord:current(-1)}</instance>
    </data-in>
  </input-events>
  <action>
    <workflow>
      <app-path>${nameNode}/myHdfsPath/My_POC/wf-app-dir</app-path>
      <configuration>
        <property>
          <name>date</name>
          <value>${coord:formatTime(coord:dateOffset(coord:actualTime(),-1,'DAY'), "yyyyMMdd")}</value>
        </property>
    </workflow>
  </action>
</coordinator-app>
***actions for instance***

【问题讨论】：

这方面有什么进展吗？即使我也面临类似的问题
我没有得到任何开箱即用的解决方案。因此，我通过添加 1 个更简单的 java 操作来检查输入的可用性，从而检查给定的输入数据路径列表/日期。它不是最好的，但解决了我的用例。

标签： oozie oozie-coordinator

【解决方案1】：

我能够使用单独的 <datasets> 和 <input-events> 找到正确的 _Complete 标志。

<datasets>
  <dataset name="input1" frequency="1" initial-instance="2016-08-17T00:00Z" timezone="America/Los_Angeles" freq_timeunit="DAY" end_of_duration="NONE">
    <uri-template>${nameNode}/myHdfsPath/Finalpath1/${YEAR}${MONTH}${DAY}/00/</uri-template>
    <done-flag>_Complete</done-flag>
  </dataset>
  ... input2 ...
</datasets>

<input-events>
  <data-in name="coordInput_1" dataset="input1">
    <instance>${coord:current(-1)}</instance>
  </data-in>
  ... coordInput_2 ...
</input-events>

current(-1) 是指定昨天的部分（用于每日数据集）。就我而言，问题在于我复制了一个带有 current(0) 的示例。

【讨论】：