1.oozie的介绍
Oozie是运行在hadoop平台上的一种工作流调度引擎,它可以用来调度与管理hadoop任务,如,MapReduce、Pig等。那么,对于OozieWorkflow中的一个个的action(可以理解成一个个MapReduce任务)Oozie是根据什么来对action的执行时间与执行顺序进行管理调度的呢?答案就是我们在数据结构中常见的有向无环图(DAGDirect Acyclic Graph)的模式来进行管理调度的,我们可以利用HPDL语言(一种xml语言)来定义整个workflow,实现工作流的调度oozie的架构以及执行流程。
2.oozie的架构
2.1.oozie的执行流程
2.2.oozie的组件介绍
workFlow:工作流,定义我们的工作流的任务的执行,主要由一个个的action,在xml中进行配置即可
Coordinator :协作器,说白了就是oozie当中的定时任务调度的模块
Bundle :多个Coordinator 的抽象,可以通过bundle将多个Coordinator 进行组装集合起来,形成一个bundle