在 HBase MR 作业中找不到 zookeeper jar答案

【问题标题】：zookeeper jar not found in HBase MR job在 HBase MR 作业中找不到 zookeeper jar
【发布时间】：2012-05-25 20:56:15
【问题描述】：

我有一个尝试在 HBase 表上生成 MR 作业的 Web UI。我不断收到此错误：

java.io.FileNotFoundException: File /opt/hadoop/mapreduce/system/job_201205251929_0007/libjars/zookeeper-3.3.2.jar does not exist.
        at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)
        at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:245)
        at org.apache.hadoop.filecache.DistributedCache.getTimestamp(DistributedCache.java:509)
        at org.apache.hadoop.mapred.JobClient.configureCommandLineOptions(JobClient.java:629)
        at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:761)
        at org.apache.hadoop.mapreduce.Job.submit(Job.java:432)
        at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:448)

我正在使用 hbase 0.90.4 运行。 HBase 管理自己的 zookeeper。而且，我确认我的 HDFS 中有/opt/hadoop/mapreduce/system/job_201205251929_0007/libjars/zookeeper-3.3.2.jar。是否在本地 FS 中查找？

【问题讨论】：

HBase 是自己管理 zookeeper 还是 zookeeper 在外部运行？
HBase 管理自己的 zookeeper

标签： mapreduce hbase apache-zookeeper

【解决方案1】：

我发现我的类路径中没有 core-site.xml，它为 fs.default.name 使用本地 FS 而不是 HDFS。 jar 存在于 HDFS 中，但它正在查找本地 FS。

【讨论】：

【解决方案2】：

在 mapper 或 reducer 中访问的任何 jar 文件都需要位于集群中所有节点的本地文件系统中。检查您当地的FS。

【讨论】：

是的，它在所有节点上的我的 HBASE_HOME/lib 目录下，并且也在 hadoop 的类路径中。从 UI jsp 页面生成 MR 的方式有些问题。不确定我在哪里缺少类路径