【问题标题】:Where exactly should hadoop.tmp.dir be set? core-site.xml or hdfs-site.xml?hadoop.tmp.dir 到底应该设置在哪里? core-site.xml 还是 hdfs-site.xml?
【发布时间】:2017-03-03 08:23:39
【问题描述】:

我问的是 Hadoop 2.x 系列。互联网上有关于此的相互矛盾的建议。就像在这个case 中,他要求在core-site.xml 中指定它,在这个SO answer 中提到hadoop.tmp.dir 被设置在hdfs-site.xml 中。放在哪个位置合适?

【问题讨论】:

    标签: hadoop configuration hdfs configuration-files


    【解决方案1】:

    hadoop.tmp.dir(其他临时目录的基础)是属性,需要在core-site.xml中设置,类似于linux中的导出

    例如:

    <name>dfs.namenode.name.dir</name>
    <value>file://${hadoop.tmp.dir}/dfs/name</value>
    

    您可以像上面一样在hdfs-site.xml 中使用hadoop.tmp.dir 的引用

    更多core-site.xmlhdfs-site.xml

    三个 HDFS 属性的值中包含 hadoop.tmp.dir

    dfs.name.dir:namenode存储元数据的目录,默认值为${hadoop.tmp.dir}/dfs/name.

    dfs.data.dir:存放HDFS数据块的目录,默认值为${hadoop.tmp.dir}/dfs/data

    fs.checkpoint.dir:二级namenode存储检查点的目录,默认值为${hadoop.tmp.dir}/dfs/namesecondary

    【讨论】:

    • 这有点切题,但是hadoop.tmp.dir 是 hdfs 存储其所有数据的位置,对吧?
    猜你喜欢
    • 1970-01-01
    • 2014-12-05
    • 1970-01-01
    • 1970-01-01
    • 2019-08-11
    • 1970-01-01
    • 1970-01-01
    • 2018-05-21
    • 1970-01-01
    相关资源
    最近更新 更多