【问题标题】:`hbase.rootdir` configuration from job setup not honoured作业设置中的“hbase.rootdir”配置不被接受
【发布时间】:2015-03-01 14:29:26
【问题描述】:

我在 HDFS 上针对 hbase 表中存在的数据运行 map reduce 作业。当我在玩配置时,我观察到了这一点。

conf.set( "hbase.rootdir", "hdfs://" + hdfsRootNodeIp + ":" + hdfsRootPort + "/" + hbaseDirectoryName );

对于上面的代码,我理解hbaseDirectoryName应该是HDFS上创建的文件夹。我已经创建了/hbase 目录,并且作业运行良好。 虽然我在 MR 作业设置期间尝试使用一些垃圾名称,但即便如此,map-reduce 作业也成功通过,没有引发错误。

有人可以为我解释一下这种行为吗?

【问题讨论】:

    标签: java hadoop mapreduce hbase


    【解决方案1】:

    hbase.rootdir 不是客户端属性。它是一个服务器端(区域服务器)属性。因此,从您的 MapReduce 作业中设置它根本没有任何影响。

    【讨论】:

    • 非常感谢 Anil Gupta。我不知道。那么客户端和服务器端属性之间有区别吗?我在哪里可以找到相关文档?
    • 我不知道客户端与服务器属性的任何命名约定。通常,与 Scan、Get、Delete 相关的属性和一些 HTable 属性是客户端的。大多数 RegionServer 属性都是服务器端的。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-12-05
    • 2019-07-08
    • 1970-01-01
    • 2016-06-06
    • 2013-09-24
    相关资源
    最近更新 更多