【问题标题】:Output events not being generated by oozie coordinatoroozie 协调器未生成输出事件
【发布时间】:2016-12-18 18:36:51
【问题描述】:

我的协调器应用程序已成功读取输入事件并在标称时间执行工作流,但根本没有生成输出事件。

我尝试在没有完成标志的情况下设置输出事件,但它不起作用。我做错了什么?

下面是我的 coordinator.xml 文件。

 <coordinator-app name="wf_scheduler" frequency="${coord:days(1)}"
    start="2016-12-14T00:00Z" end="2016-12-19T00:00Z" timezone="IST"
    xmlns="uri:oozie:coordinator:0.2">
    <controls>
        <timeout>30</timeout>
        <concurrency>3</concurrency>
        <execution>FIFO</execution>
        <throttle>3</throttle>
    </controls>
    <datasets>
        <dataset name="inp_logs" frequency="${coord:days(1)}"
            initial-instance="2016-12-01T00:00Z" timezone="IST">
            <uri-template>
                /user/cloudera/inp_logs/${YEAR}_${MONTH}_${DAY}
            </uri-template>
            <done-flag></done-flag>
        </dataset>
        <dataset name="opt_logs" frequency="${coord:days(1)}"
            initial-instance="2016-12-01T00:00Z" timezone="IST">
            <uri-template>
                /user/cloudera/opt_logs/${YEAR}_${MONTH}_${DAY}
            </uri-template>
            <done-flag>_trigger</done-flag>
        </dataset>
    </datasets>
    <input-events>
        <data-in name="input" dataset="inp_logs">
            <instance>${coord:current(0)}</instance>
        </data-in>
    </input-events>
    <output-events>
        <data-out name="output" dataset="opt_logs">
            <instance>${coord:current(0)}</instance>
        </data-out>
    </output-events>
    <action>
        <workflow>
            <app-path>${app_path}</app-path>
        </workflow>
    </action>
</coordinator-app> 

【问题讨论】:

    标签: hadoop oozie


    【解决方案1】:

    嗯,我也有同样的问题。我什至设置为空。我手动创建了 _SUCCESS 文件。我挖起来。在 Apache Oozie: The Workflow Scheduler for Hadoop 一书中找到。但我不知道它是否有效。

    不,Oozie 不会自动创建 output-events 中指定的文件,您需要在 Oozie 工作流操作中创建这些文件。

    输出事件配置用于向 Oozie 提供有关您的 Oozie 工作流操作将创建哪些文件的信息,Oozie 将在重新运行/重新处理协调器时使用这些文件来清理文件。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2012-10-18
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多