使用 Oozie 执行协调器操作的输入条件

Question

我是 oozie 的新手。我想将我的协调器配置为仅在我的输入文件夹中出现四个文件时才执行。我对 oozie 文档进行了一些搜索，发现我可以将 Input-event 与数据集一起使用。

  <datasets>
    <dataset name="dinput" frequency="${coord:days(1)}"
             initial-instance="${start_date}" timezone="UTC">
      <uri-template>myInputFolder</uri-template>
      <done-flag></done-flag>
    </dataset>
  </datasets>
  <input-events>
    <data-in name="input" dataset="dinput">
      <instance>${coord:current(0)}</instance>
    </data-in>
  </input-events> 

有人可以指导我这样做吗？

Answer 1

Oozie 的<dataset> 和<input-events> 标记的目的是处理数据以特定间隔进入并落在日期分区目录结构中的常见情况。这就是 Oozie 工作得最好的地方。

如果这不适合您的用例，我的建议是编写一些代码来检查您的文件并使用 shell 或 java 操作类型在 Oozie 操作中运行它。我认为如果您的文件不存在，此操作可能会向 Oozie 发送失败代码以停止工作流，并且此操作将先于您的工作流的真正逻辑。