【问题标题】:Oozie - Run workflow by command line with configuration file in HDFSOozie - 通过命令行在 HDFS 中使用配置文件运行工作流
【发布时间】:2016-10-31 10:39:02
【问题描述】:

作为 Oozie 的新手,我尝试通过命令行运行一些教程。我的一步一步:

  • 通过 HUE 接口将我的 Oozie 项目(工作流 xml 文件、job.properties 文件、jar 和数据)上传到 HDFS。在我的 job.properties 文件中,我已经指出了所有信息,例如数据名称节点、我的应用程序的路径……
  • 通过 HUE 界面运行,简单地说,我选中工作流 xml 文件的复选框并提交

我想通过命令行运行我的 Oozie 项目:

  • 在本地使用 job.properties 文件,我运行: oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

如何运行我的 Oozie 项目,而不是使用本地的 job.properties(而不是本地的配置文件,我想使用 HDFS 中的配置文件运行我的作业)?

感谢您的任何建议,如果我的问题不清楚,请随时发表评论!

【问题讨论】:

  • 您是否尝试为配置参数提供 hdfs 路径?

标签: hadoop configuration hdfs oozie


【解决方案1】:

我不知道是否有直接的方法,但你当然可以这样做

oozie job -oozie http://localhost:11000/oozie -config <(hdfs dfs -cat examples/apps/map-reduce/job.properties) -run

【讨论】:

  • 感谢您的回复,但 Oozie 只接受 .properties 或 xml 文件。 java.lang.IllegalArgumentException:配置必须是“.properties”或“.xml”文件
  • java.lang.IllegalArgumentException:配置必须是 org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:814) 中的“.properties”或“.xml”文件.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:963) 在 org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:673) 在 org.apache.oozie.cli.OozieCLI.run(OozieCLI .java:626) 在 org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225) 配置必须是“.properties”或“.xml”文件
  • 我明白了,我不知道 oozie 会检查文件扩展名。然后我看不到另一种方法,只是至少暂时将文件下载到本地文件系统。或使用类似fuse-dfs
猜你喜欢
  • 2014-10-20
  • 1970-01-01
  • 2019-10-25
  • 1970-01-01
  • 2015-11-08
  • 1970-01-01
  • 1970-01-01
  • 2016-10-05
  • 1970-01-01
相关资源
最近更新 更多