用 oozie 触发 Pig 作业

Question

我有一个 java 代码，其中使用 PigServer 类的 registerQuery() 方法嵌入了 pig 语句。现在我准备了一个 jar，我可以将其作为 hadoop jar jarname 运行，但问题是如何使用 oozie 调度程序触发相同的作业。尽管它是内部的 map reduce 起作用，但我们不能将其称为 map reduce 操作。同样，因为它不是猪动作，我们也不能设置它。是否可以使用 oozie 运行这样的任务？安排此类任务的最佳方式是什么？

Answer 1

似乎您尝试做的不是 Oozie 支持的功能的一部分。由于您的任务既不是典型的 Java Map Reduce 也不是猪操作，您最好使用操作系统提供的 crontab 功能来安排您的作业或使用 Spring 调度程序。

还有一个用于 Hadoop 的 spring 发行版，称为 Spring Data - Apache Hadoop，它提供了内置的调度功能。

Answer 2

Oozie MapReduce 操作的目的是运行诸如“hadoop jar...”之类的作业。

文档详细介绍了它以及一些 Hue tutorials 演示如何运行 Oozie 作业。