【发布时间】：2017-03-09 13:06:16
【问题描述】：
我需要在我的 hadoop 集群上执行以下工作流。
- 新文件被添加到 hdfs 目录 /export/（一天多次）
- 文件有两种格式：*_A.csv 和 *_B.csv
- 将所有 *_A.csv 复制到 /hive/dumptable_a/
- 将所有 *_B.csv 复制到 /hive/dumptable_b/ 中
- 运行 hive 插入查询以从 dumptable_a 加载分区表 A
- 运行 hive 插入查询以从 dumptable_b 加载分区表 B
- 从 /hive/dumptable_a/ 和 /hive/dumptable_b/ 中删除数据
是否可以设置 oozie 来监控 /export/ 中的新文件并启动工作流程？ 如果 oozie 无法做到这一点，或者它不是正确的工具，那么最好的选择是什么？
【问题讨论】：
标签： hadoop hive oozie oozie-coordinator