【问题标题】:oozie workflow should only run if there is an input hdfs file availableoozie 工作流应该仅在有可用的输入 hdfs 文件时运行
【发布时间】:2018-04-09 08:22:15
【问题描述】:

我设置了协调器 <dataset><input-events> 值和超时。 协调器工作正常,因为它会检查输入文件是否在 hdfs 位置可用,然后它才会运行工作流,否则会超时。 我在工作流中需要相同的行为,例如如果我只运行没有协调器的工作流,那么工作流的行为应该与上述协调器的行为相同。 我尝试了mapred.input.dir,但工作流程运行成功。 有没有其他方法可以达到同样的效果。 工作流是一个简单的 hello world 作业,而不是 map-reduce 作业。

【问题讨论】:

    标签: hadoop workflow oozie oozie-coordinator


    【解决方案1】:

    Wrokflow 用于按需运行作业。 您正在寻找的功能在 Workflow 中不可用。该功能由 Coordinator 提供。

    【讨论】:

    • 它在 java 动作中使用 参数工作。 WF java 操作失败,说明文件丢失,但我仍然需要找出超时部分,或者 WF 中没有等待 依赖项。
    猜你喜欢
    • 1970-01-01
    • 2016-10-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-07-23
    相关资源
    最近更新 更多