【问题标题】:Apache oozie sharedlib is showing a blank listApache oozie sharedlib 显示一个空白列表
【发布时间】:2015-03-23 10:13:34
【问题描述】:

Apache OOZIE 相对较新,在 Ubuntu 14.04、Hadoop 2.6.0、JDK 1.8 上进行了安装。我能够安装 oozie,并且在我的服务器的 11000 端口上可以看到 Web 控制台。 现在,当我复制与 oozie 捆绑在一起的示例并尝试运行它们时,我遇到了一个错误,提示不存在 sharedlib。

安装共享库如下- bin/oozie-setup.sh sharelib create -fs hdfs://localhost:54310

(我的 namenode 在 localhost 54310 上运行,而 JT 在 localhost 54311 上运行)

hadoop fs -ls /user/hduser/share/lib 显示根据 oozie-site.xml 文件创建的共享库。但是,当我使用命令检查共享库时 - oozie admin -oozie http://localhost:11000/oozie -shareliblist 列表是空白的,作业也因同样的原因而失败。

关于我应该如何解决这个问题的任何线索?

谢谢。

【问题讨论】:

标签: apache hadoop oozie


【解决方案1】:

sharelib create 命令看起来不错。

如果您还没有这样做,请将 core-site.xml 从您的 hadoop 安装文件夹复制到 $OOZIE_HOME/conf/hadoop-conf/。 hadoop-conf 文件夹中可能已经有一个“占位符”core-site.xml,删除或重命名那个。 Oozie 不会直接从您的 hadoop 安装(例如 hive)中获取其 hadoop 配置,而是从您放置在该 hadoop-conf 文件夹中的 core-site.xml 获取。

【讨论】:

  • 好吧,这不走运。我将核心站点的内容从我的 hadoop 安装复制到 oozie/conf/hadoop-conf/core-site.xml 但仍然相同。
  • 任何建议可能是什么原因。如果需要在这里粘贴任何数据,请告诉我....
  • 不确定 - 这有什么帮助......但我通过了这个问题。
  • 是的,这对我也有帮助!
【解决方案2】:

好的,我有一个解决方案。 因此,当我尝试创建它在 HDFS 上执行的 sharedlib 目录时,但在运行作业时本地路径正在被裁判。所以我在我的本地 /user/hduser/share/lib 目录中提取了 oozie-sharedlib tar.gz 文件,它现在可以工作了。 但没有得到原因,所以它仍然是一个悬而未决的问题。

【讨论】:

    【解决方案3】:

    我遇到了同样的问题,结果证明 oozie 无法与 hdfs 通信,因为它无法找到 core-site.xml 或任何其他必须在 oozie-site.xml 中声明的 hadoop 配置的位置。 oozie-site.xml 中对应的属性是 oozie.service.HadoopAccessorService.hadoop.configurations 在我的情况下,这个属性被错误地定义了。 将其更改为指向我的 Hadoop 配置 xmls 所在的位置,然后它开始与 hdfs 通信,因此能够在 hdfs 上找到 sharelib

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多