【问题标题】:Is it necessary to configure hadoop.tmp.directory in core-site.xml in hadoop-3.3.1?hadoop-3.3.1的core-site.xml中是否需要配置hadoop.tmp.directory?
【发布时间】:2022-01-09 23:30:13
【问题描述】:

由于我是大数据领域的初学者,安装了 Hadoop 3.3.1 和 Hive 并在 Hive 上上传了数据。我有一些问题和困惑:

  1. 我没有在 core-site.xml 中配置 hadoop.tmp.directory,但是在 hdfs-site.xml 中配置了 datanode 和 namenode dir 路径。如果我不在 core-site.xml 中配置 tmp 目录,这会影响我的 mapreduce 工作吗?

  2. 因为我已经集群了从属服务器和主服务器,并且还安装了配置单元并上传了数据,现在如果我在任何集群主服务器或任何一个从服务器中更改配置(重新配置,如 core-site.xml 中的 tmp 目录路径),所以我应该在每次重新配置后执行 hdfs namenode -format,是否会通过格式化 namenode 来丢失 hive 和上传的数据?

  3. 这是我的 hdfs-site.xml 和 core-site.xml 配置。请告诉我这些配置是否正确。

核心站点.xml:

<configuration>
<property>
   <name>fs.default.name</name>
   <value>hdfs://hadoop-master:9000</value>
</property>
</configuration>

master 中的 hdfs-site.xml:

<configuration>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
</configuration>

从属服务器中的 hdfs-site.xml:

<configuration>
<property>
    <name>dfs.data.dir</name>
    <value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>
</configuration>

【问题讨论】:

    标签: hadoop hive hdfs hadoop3


    【解决方案1】:

    hadoop.tmp.dir 默认为/tmp/hadoop-${user.name}。没有特别的理由去改变它

    是的,重新格式化 namenode 会删除所有 HDFS 数据,但不会截断您的 Hive 元存储

    【讨论】:

    • 意思是我们把hadoop.tmp.dir放到我们的配置里面,只是改变了临时目录的位置,而且已经有了临时目录,就不用改了吗?
    • 如果你自己定义,它会覆盖默认值
    • 好的,谢谢。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-11-07
    • 1970-01-01
    • 2020-09-18
    • 2017-03-03
    • 2018-11-06
    • 1970-01-01
    相关资源
    最近更新 更多