【问题标题】:Location of hdfs files in pseudodistributed single node cluster?hdfs文件在伪分布式单节点集群中的位置?
【发布时间】:2015-04-30 13:56:37
【问题描述】:

我在单个节点上以伪分布式模式安装了 hadoop。 dfs.replication值为1。hdfs中的文件默认存放在哪里?我使用的hadoop版本是2.5.1。

【问题讨论】:

  • 检查hdfs-site.xml中dfs.datanode.data.dir属性配置的目录
  • 我的 hdfs-site.xml 中没有这样的属性。默认值是多少?我怀疑 hdfs 的数据保存在 /tmp/hadoop-username/dfs 目录中。
  • dfs.datanode.data.dir 的默认值为file://${hadoop.tmp.dir}/dfs/data,其中hadoop.tmp.dir/tmp/hadoop-${user.name}

标签: java hadoop mapreduce bigdata


【解决方案1】:

dfs.datanode.data.dir:确定本地文件系统上 DFS 数据节点应存储其块的位置。如果这是一个逗号分隔的目录列表,那么数据将存储在所有命名的目录中,通常在不同的设备上。不存在的目录将被忽略。

此属性的默认值为:file://${hadoop.tmp.dir}/dfs/data 您可以在 core-site.xml 文件中配置 ${hadoop.tmp.dir}。它的默认值为:/tmp/hadoop-${user.name}

参考资料:

  1. https://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml
  2. http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/core-default.xml

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2017-12-24
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2018-02-11
    • 1970-01-01
    • 2021-01-08
    相关资源
    最近更新 更多