【问题标题】:Oozie workflow import failsOozie 工作流导入失败
【发布时间】:2018-04-23 14:03:55
【问题描述】:

我正在使用 Oozie 自动化 ETL,这涉及 100 多个步骤。我能够在开发集群中成功创建工作流。当我尝试使用 Hue 的导出和导入功能移动这个庞大的工作流时,问题就出现了.我在导入工作流时遇到了一个奇怪的(请原谅我的无知)错误。导出工作正常。

{"message": "Problem installing fixture '/tmp/tmp31Ptfm.json': Document2 matching query does not exist."}

提前致谢。

【问题讨论】:

  • 看起来 Hue 现在和 2015 年一样没用。我的 2 美分:如果可以的话,将 Hue 用作“Oozie IDE”,但不要尝试导出 Hue 特定的“ project" 文件——导出在您的测试中实际提交给 Oozie 的 Workflow (+ Coordinator) XML 脚本。该 XML 是您的“可执行文件”,可以通过 Oozie 命令行(或 REST API)推出到 Test / Prod。
  • 谢谢!我知道这种替代方法,但我们只能说这不能解决我的问题。
  • 很遗憾,自 3.9 以来,您无法使用 hue 导出 workflow.xml

标签: hadoop oozie cloudera-cdh oozie-coordinator oozie-workflow


【解决方案1】:

Document2 是指支持 Hue 的 RDBMS 表。

缺少的“匹配查询”是指 Hive 脚本,例如,您尚未导出/导入的以及您的工作流引用。

但我同意上述评论 - 将您的 XML 和属性存储在源代码管理中...使用 CI/CD 在多个环境中滚动更新

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-04-05
    • 2017-09-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多